[논문 리뷰] A Strong Baseline for Domain Adaptation and Generalization in Medical Imaging

Yao Li, Jordan Prosky외 2명|arXiv (Cornell University)|2019. 04. 02.

COVID-19 diagnosis using AI인용 수 9

한 줄 요약

이 논문은 다양한 다중 소스 흉부 X선 데이터셋을 기반으로 딥러닝 모델을 훈련시켜 의료 영상 분야의 도메인 적응 및 일반화를 위한 단순하면서도 효과적인 베이스라인을 제안한다. 10개의 글로벌 데이터셋에서 수집한 데이터를 통합하여 편집된 DenseNet-121을 사용한 결과, 도메인 외 테스트 세트에서 일관된 성능 향상을 보이며, 다중 도메인 훈련이 일반화 능력을 크게 향상시키고 도메인 과적합을 줄이는 데 기여함을 입증한다.

ABSTRACT

This work provides a strong baseline for the problem of multi-source multi-target domain adaptation and generalization in medical imaging. Using a diverse collection of ten chest X-ray datasets, we empirically demonstrate the benefits of training medical imaging deep learning models on varied patient populations for generalization to out-of-sample domains.

연구 동기 및 목표

• 단일 기관에서 훈련된 모델이 도메인 외 데이터에서 실패하는 문제를 해결하기 위해 의료 영상에서의 도메인 과적합 문제에 대응한다.
• 다양한 환자 집단에 대해 훈련하면 다양한 임상 환경과 지리적 지역 간 모델의 일반화 능력 향상 여부를 조사한다.
• 단일 도메인 훈련보다 우수한 성능을 보이는 의료 영상 분야의 도메인 일반화를 위한 실용적이고 직관적인 베이스라인을 확립한다.
• 다양한 의료 기관에 배포할 경우 성능 저하를 완화하는 데 있어 데이터 다양성의 실증적 이점을 입증한다.

제안 방법

• 다양한 글로벌 원천에서 온 5개의 공개 및 1개의 비공개 흉부 X선 데이터셋을 통합한 데이터셋에 대해 ImageNet으로 사전 훈련된 DenseNet-121 모델을 훈련한다.
• 모든 데이터셋에서 표준 80/20 환자 분할을 사용하여 훈련 및 테스트를 수행하며, 도메인 특화 데이터 증강 또는 정규화를 적용하지 않는다.
• 10개의 별도 테스트 도메인(다양한 국가의 공개 및 비공개 데이터셋 포함)에서 AUC(곡선 아래 면적)를 통해 모델 성능을 평가한다.
• 모든 도메인을 포함한 모델의 일반화 성능에 각 소스 도메인이 기여하는 정도를 평가하기 위해 라이브-오너-도메인-아웃 실험을 수행한다.
• 개별 도메인에서 훈련한 모델과 모든 도메인을 동시에 훈련한 모델의 성능을 비교하여 데이터 다양성의 이점을 정량화한다.
• 도메인 특화 정규화나 적대적 훈련 없이 표준 교차 엔트로피 손실 및 표준 최적화(예: Adam)를 사용한다.

실험 결과

연구 질문

• RQ1 단일 도메인 훈련과 비교해 복수의 다양한 의료 영상 데이터셋에서 훈련하면 도메인 외 테스트 세트에 대한 모델 일반화 능력 향상이 이루어지는가?
• RQ2 특정 소스 도메인을 제외할 경우, 훈련 중에 볼 수 없었던 타겟 도메인에서의 모델 성능에 어떤 영향을 미치는가?
• RQ3 환자 집단, 임상 환경, 지리적 지역 간의 데이터 다양성이 흉부 X선 분류에서 도메인 과적합을 어느 정도 감소시키는가?
• RQ4 다중 소스 데이터에서 단순하고 적대적이지 않으며 증강 기반도 아닌 훈련 전략이 의료 영상 분야의 도메인 일반화를 위한 강력한 베이스라인으로 기능할 수 있는가?

주요 결과

• 모든 5개의 소스 도메인을 동시에 훈련한 결과, PAD 테스트 세트에서 AUC 0.850을 기록하여 개별 소스에서 훈련한 모델(예: NIH에서 훈련한 경우 0.811)보다 뛰어난 성능을 보였다.
• 모든 5개 도메인에서 훈련한 모델은 중국어 데이터셋인 CHN 1에서 AUC 0.835를 기록하여, 최고의 단일 소스 모델(0.781)보다 뚜렷한 성능 향상을 보이며, 새로운 중국 데이터셋에 대한 강력한 일반화 능력을 입증했다.
• 라이브-오너-도메인-아웃 실험 결과, AUS, PAD, MIM을 제외할 경우 중간 수준의 성능 저하가 발생했으며(예: AUS 제외 시 OPI에서 AUC가 0.786에서 0.758로 감소), 이는 각 도메인이 일반화 성능에 독특한 기여를 했음을 시사한다.
• 개별 도메인에서 훈련한 모델는 높은 내부 도메인 성능(예: CHX에서 훈련한 경우 0.866 AUC)을 보였지만, 도메인 외 성능은 낮았으며(예: NIH에서 0.732 AUC), 도메인 과적합 현상을 명확히 드러냈다.
• 다중 소스 모델은 모든 5개의 도메인 외 테스트 세트에서 AUC가 0.78 이상으로 일관되게 유지되었으며, CHX에서 최고의 AUC 0.862를 기록하여 도메인 이동에 대한 강건성을 입증했다.
• 심지어 단일 소스에서만 훈련한 경우에도 내부 도메인 AUC는 높았지만(예: CHX에서 0.866), 다른 도메인에서는 성능이 크게 떨어졌으며(예: NIH에서 0.732), 이는 다중 도메인 훈련의 필요성을 강조한다.