[논문 리뷰] Meta-repository of screening mammography classifiers

Stadnick, Benjamin, Jan Witowski외 5명|arXiv (Cornell University)|2021. 08. 10.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 일곱 개의 국제적 데이터셋을 통해 표준화된 평가를 가능하게 하는 스크리닝 유방 조영술 AI 모델을 위한 메타레포지토리를 소개한다. AUC-ROC 및 AUC-PR 지표를 사용하여 크로스플랫폼 호환성 있는 다섯 개의 오픈소스 모델을 비교함으로써, 의료 AI 분야에서 널리 퍼져 있는 모델 재현성 및 일반화 문제를 해결하기 위한 재현 가능한 벤치마킹을 실현한다.

ABSTRACT

Artificial intelligence (AI) is showing promise in improving clinical diagnosis. In breast cancer screening, recent studies show that AI has the potential to improve early cancer diagnosis and reduce unnecessary workup. As the number of proposed models and their complexity grows, it is becoming increasingly difficult to re-implement them. To enable reproducibility of research and to enable comparison between different methods, we release a meta-repository containing models for classification of screening mammograms. This meta-repository creates a framework that enables the evaluation of AI models on any screening mammography data set. At its inception, our meta-repository contains five state-of-the-art models with open-source implementations and cross-platform compatibility. We compare their performance on seven international data sets. Our framework has a flexible design that can be generalized to other medical image analysis tasks. The meta-repository is available at https://www.github.com/nyukat/mammography_metarepository.

연구 동기 및 목표

• 스크리닝 유방 조영술을 위한 의료 AI에서 점점 커지는 재현성 및 공정한 비교 문제를 해결하기 위해.
• 어떤 스크리닝 유방 조영술 데이터셋이든 적용 가능한 중심화된 표준화 프레임워크를 구축하기 위해.
• 수집 프로토콜과 인구 분포의 차이가 있음에도 불구하고 다양한 국제적 데이터셋 간의 모델 성능 비교를 가능하게 하기 위해.
• 윤리적 및 법적 제약으로 인해 데이터 공유가 어려운 상황에서 모델 공유를 데이터 공유의 타당한 대안으로 삼기 위해.
• 일致된 평가 파이프라인을 지원하는 유연하고 컨테이너 기반의 인프라를 제공하기 위해.

제안 방법

• 메타레포지토리는 Docker 컨테이너 기반 표준화를 통해 모델 환경을 일관되게 유지하여 다양한 시스템 간 일관된 실행을 보장한다.
• 각 모델은 입력 이미지 처리, 예측 생성, 표준화된 CSV 형식으로 결과 출력을 위한 통합 엔트리포인트 스크립트를 통해 평가된다.
• 성능는 이미지 수준 및 유방 수준 예측 모두에서 AUC-ROC 및 AUC-PR 지표를 자동으로 계산하여 평가된다.
• 시스템은 공개 및 비공개 데이터셋을 모두 지원하며, 다양한 데이터 분포에 맞게 평균 픽셀 강도 등의 구성 매개변수를 설정할 수 있다.
• 모델별 구성은 구성 파일을 통해 처리되며, 네 가지 유방 조영술 영상 모두가 필요한 모델(예: DMV-CNN)에 특수한 처리가 포함된다.
• 기여자는 Dockerfile, 엔트리포인트 스크립트, 구성 파일을 포함한 풀 리퀘스트를 통해 모델를 제출할 수 있으며, 이는 평가 파이프라인에의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 수집 프로토콜과 인구 특성을 지닌 다양한 국제적 데이터셋 간에 스크리닝 유방 조영술 AI 모델을 어떻게 일관되게 평가할 수 있는가?
• RQ2 표준화된 조건에서 평가했을 때 최신 기술 모델들이 다양한 데이터 분포 간에 얼마나 잘 일반화되는가?
• RQ3 중앙집중식 메타레포지토리는 의료 영상 연구에서 AI 모델의 재현성과 비교 가능성에 어떤 영향을 미칠 수 있는가?
• RQ4 초기화 조정 값의 선택과 모델 아키텍처가 여러 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ5 윤리적 및 법적 제약으로 인해 데이터 공유가 어려운 상황에서 모델 공유가 의료 AI 연구에서 얼마나 효과적인 대체 수단이 되는가?

주요 결과

• 메타레포지토리는 일곱 개의 국제적 스크리닝 유방 조영술 데이터셋에서 다섯 개의 최신 기술 모델에 대해 표준화된 평가를 성공적으로 수행하였다.
• 성능는 데이터셋 간에 뚜렷한 차이를 보였으며, 이는 외부 분포 일반화 문제의 도전성조차도 최고 성능 모델들 사이에서도 여전히 존재함을 시사한다.
• INbreast에서 Fine-tuning된 ResNet50 기반의 End2end 모델이 NYU 테스트 세트에서 가장 높은 AUC-ROC 0.902를 기록하였다.
• DMV-CNN 모델은 네 가지 영상 모두가 포함된 데이터셋이 아닐 경우 특수한 구성이 필요했으며, 누락된 데이터에 민감하게 반응하였다.
• GLAM 모델은 공동 학습 버전(모델_조인트)에서 가장 우수한 성능을 보였으며, CMMD 데이터셋에서 AUC-ROC 0.885를 기록하였다.
• 메타레포지토리의 컨테이너 기반 프레임워크는 다양한 하드웨어 및 소프트웨어 환경 간 일관된 결과를 보장하여 재현성을 지원하였다.