[논문 리뷰] BMAD: Benchmarks for Medical Anomaly Detection

Jinan Bao, Hanshi Sun외 4명|arXiv (Cornell University)|2023. 06. 20.

Anomaly Detection Techniques and ApplicationsComputer Science인용 수 3

한 줄 요약

BMAD는 뇌 MRI, 간 CT, 망막 OCT, 체胸部 X-ray 및 조직병리학의 다섯 가지 의료 영상 영역에서 구성된 여섯 개의 정제된 데이터셋을 사용하여 의료 이상 탐지(MAD)를 위한 표준화되고 종합적인 벤치마크를 도입한다. 이는 14개의 최신 기술 기반 이상 탐지 모델과 세 가지 평가 지표(AUROC, PRO, DICE)를 포함한다. 이 벤치마크는 공정하고 재현 가능한 비교를 가능하게 하며, 통합된 코드베이스와 사전 학습된 모델을 제공함으로써 비지도 의료 이상 탐지 분야의 진전을 가속화한다.

ABSTRACT

Anomaly detection (AD) is a fundamental research problem in machine learning and computer vision, with practical applications in industrial inspection, video surveillance, and medical diagnosis. In medical imaging, AD is especially vital for detecting and diagnosing anomalies that may indicate rare diseases or conditions. However, there is a lack of a universal and fair benchmark for evaluating AD methods on medical images, which hinders the development of more generalized and robust AD methods in this specific domain. To bridge this gap, we introduce a comprehensive evaluation benchmark for assessing anomaly detection methods on medical images. This benchmark encompasses six reorganized datasets from five medical domains (i.e. brain MRI, liver CT, retinal OCT, chest X-ray, and digital histopathology) and three key evaluation metrics, and includes a total of fourteen state-of-the-art AD algorithms. This standardized and well-curated medical benchmark with the well-structured codebase enables comprehensive comparisons among recently proposed anomaly detection methods. It will facilitate the community to conduct a fair comparison and advance the field of AD on medical imaging. More information on BMAD is available in our GitHub repository: https://github.com/DorisBao/BMAD

연구 동기 및 목표

• 의료 영상에서 이상 탐지 방법을 평가하기 위한 표준화되고 공정한 벤치마크가 부족한 문제를 해결하기 위해.
• 다양한 영역에서 기존의 의료 영상 데이터셋을 통합하고 재구성하여 이상 탐지에 적합한 일관된 평가 준비 형식으로 정리하기 위해.
• 의료 영상 분야의 최신 이상 탐지 모델들 간에 종합적이고 재현 가능한 비교를 가능하게 하기 위해.
• 모든 14개의 평가 대상 모델에 대해 훈련 및 추론 파이프라인을 포함한 잘 문서화된 오픈소스 코드베이스를 제공하기 위해.
• 체계적인 평가를 통해 성능 격차와 잠재적인 연구 방향을 규명하여 향후 연구를 촉진하기 위해.

제안 방법

• 벤치마크는 뇌 MRI(BraTS2021), 간 CT(BTCV+LiTs), 망막 OCT(RESC), 체胸部 X-ray(NIH-ChestXRay), 그리고 세 가지 조직병리학 데이터셋(TCGA-NSCLC, TCGA-KIRC, TCGA-KIRP)에서 유래한 여섯 개의 재구성된 의료 영상 데이터셋을 통합한다.
• 데이터셋은 일관성을 확보하기 위해 사전 처리되며, 정상 샘플은 훈련에 사용되고, 이상은 평가에 유지되며, 가능할 경우 픽셀 수준 및 샘플 수준의 레이블이 제공된다.
• 벤치마크는 재구성 기반(예: 오토인코더, GAN, 디퓨전 모델) 및 특징 임bedding 기반 방법(예: PatchCore, PaDiM, DRAEM, STFPM)을 포함한 14개의 최신 비지도 이상 탐지 모델을 평가한다.
• 세 가지 평가 지표가 사용된다: AUROC(이미지 및 픽셀 수준), Per-Region Overlap(PRO), Dice 점수(임계치에 의존), Dice의 경우 최적의 임계치 탐색이 고려된다.
• 일관된 초모수 및 데이터 분할을 지원하는 GitHub를 통한 통합 코드베이스가 제공된다.
• 모든 모델에 대해 초모수를 최적화한다(예: CS-Flow는 초기 학습률 2e-4, 가중치 감쇠 1e-5, 기울기 클램핑 1, 플로우 클램핑 3를 사용함).

실험 결과

연구 질문

• RQ1 표준화된 평가 조건 하에서 최신 이상 탐지 모델들이 다양한 의료 영상 영역에서 어떻게 성능을 내는가?
• RQ2 재구성 기반 대비 특징 임bedding 기반 이상 탐지 방법의 의료 영상에서의 상대적 강점과 약점은 무엇인가?
• RQ3 의료 영상 모odalities(예: MRI 대비 OCT 또는 조직병리학) 간에 모델 성능 및 일반화 능력이 얼마나 다를까?
• RQ4 다양한 평가 지표(AUROC, PRO, Dice)는 임상적 관련성과 국소화 정확도와 어떻게 상관관계가 있는가?
• RQ5 현재 의료 AD 방법의 주요 제약 요소는 무엇이며, 벤치마크 결과로부터 도출되는 주요 연구 방향은 무엇인가?

주요 결과

• PatchCore는 BraTS2021에서 픽셀 수준 AUROC 32.82±0.59를 기록하여 CFA(30.22±0.32) 및 STFPM(25.40±0.82)를 모두 앞서는 최고 성능을 보였다.
• BTCV+LiTs 데이터셋에서 CFA는 14.93±0.08 AUROC를 기록하여 모든 방법 중에서 가장 높은 성능을 보였으며, 간 CT에서의 강력한 성능을 시사한다.
• RESC 데이터셋에서 PatchCore는 DICE 점수 57.04±0.21을 기록하여 망막 OCT 이상의 국소화 정확도가 뛰어나다는 것을 입증했다.
• RESC 데이터셋에서 STFPM는 DICE 점수 49.23±0.23을 기록하여 미세한 이상 국소화에서 뛰어난 성능을 보였다.
• DICE 점수는 매우 임계치에 민감하며, 최적의 임계치 조정을 통해 0.5 기준보다 훨씬 높은 성능으로 향상될 수 있다(예: PatchCore DICE는 57.04에서 더 높은 값으로 증가 가능).
• 벤치마크 결과에 따르면, 어떤 한 모델도 모든 영역에서 우월한 성능을 보이지 않으며, 이는 도메인 특화 적응과 일반화 능력 향상을 위한 추가 연구가 필요함을 시사한다.