[논문 리뷰] On the limits of cross-domain generalization in automated X-ray prediction

Joseph Cohen, Mohammad Hashir외 2명|arXiv (Cornell University)|2020. 02. 06.

Radiomics and Machine Learning in Medical Imaging참고 문헌 35인용 수 64

한 줄 요약

이 논문은 흉부 X선 예측의 교차 도메인 일반화에 대한 대규모 연구를 수행하여 일반화 문제는 이미지 시프트가 아닌 라벨 시프트에서 발생한다는 것을 보이고, 데이터셋 간 성능, 합의, 표현을 분석한다.

ABSTRACT

This large scale study focuses on quantifying what X-rays diagnostic prediction tasks generalize well across multiple different datasets. We present evidence that the issue of generalization is not due to a shift in the images but instead a shift in the labels. We study the cross-domain performance, agreement between models, and model representations. We find interesting discrepancies between performance and agreement where models which both achieve good performance disagree in their predictions as well as models which agree yet achieve poor performance. We also test for concept similarity by regularizing a network to group tasks across multiple datasets together and observe variation across the tasks. All code is made available online and data is publicly available: https://github.com/mlmed/torchxrayvision

연구 동기 및 목표

• 여러 공개 데이터세트 간에 X-선 진단 예측 태스크의 일반화 정도를 정량화한다
• 일반화 문제가 이미지 시프트(공변량 시프트) 때문인지 라벨 분포 시프트(개념 시프트) 때문인지 구분한다
• 데이터셋 간의 일반화, 모델 간 합의도, 내부 표현을 분석한다
• 공동 데이터셋에서의 학습이 진정한 일반화인지 도메인 누출인지 평가한다
• 교차 도메인 흉부 X선 모델의 평가 및 배포에 대한 권고를 제공한다

제안 방법

• AP/PA 뷰를 사용하는 200k+ 이미지의 4개 대형 공개 흉부 X선 데이터세트에서 DenseNet 앙상블을 학습한다
• 라벨 불균형을 다루기 위해 데이터세트별 라벨 빈도에 따라 태스크 손실을 균형화한다
• 공정한 비교를 가능하게 하기 위해 데이터세트별 최적 작동 지점으로 태스크별 출력 보정을 수행한다
• Leave-one-domain-out 및 all-domains-inclusive 실험을 통해 교차 도메인 일반화를 평가한다
• 다른 데이터세트에서 학습된 모델들 간의 Cohen의 kappa를 사용해 모델 합의도를 분석한다
• 도메인 간 정합성 연구를 위해 태스크별 가중치 벡터를 정규화한다

실험 결과

연구 질문

• RQ1 어떤 흉부 X선 예측 태스크가 서로 다른 데이터세트/기관에서 가장 잘 일반화되는가?
• RQ2 일반화가 이미지 분포 시프트(공변량 시프트)로 인해 제한되는가, 아니면 라벨 분포 시프트(개념 시프트) 때문인가?
• RQ3 도메인 간 모델 예측, 모델 간 합의, 내부 표현은 어떻게 달라지는가?
• RQ4 태스크/데이터세트 간 표현 정렬이 교차 도메인 성능을 개선할 수 있는가?
• RQ5 임상 환경에서 교차 도메인 흉부 X선 모델의 배치에 따른 시사점은 무엇인가?

주요 결과

• 일반화 성능은 태스크와 데이터세트에 따라 다르며, 도메인 간 일부 태스크는 다른 태스크보다 더 잘 일반화된다
• 다수 도메인에서 학습된 모델이 보유한 Hold-out 도메인에서 평가될 때도 성능 격차가 존재하여 단순한 공변량 시프트를 넘는 도메인 특유 편향이 있음을 시사한다
• 모델 간 합의가 높아도 예측 성능이 낮을 수 있으며, 반대로 성능이 좋은 모델이라도 예측에 대해 상당히 다르게 판단하는 경우가 있다
• 태스크 및 데이터세트별 출력을 보정하는 것은 공정한 교차 도메인 평가에 필수적이며 라벨/정답 주관성의 영향을 드러낸다
• 모두 데이터세트에서 공동 학습하는 것은 전반적인 AUC를 높이지만 이는 진정한 일반화가 아닌 도메인 누출을 반영하는 것으로, Leave-one-domain-out 테스트에서 이점이 감소한다
• 같은 태스크에 대해 데이터세트 간 표현은 다르게 발산하며, 태스크 표현 정렬을 위한 가중치 벡터 정규화의 효과는 혼재되어 있어 데이터세트별 고유의 개념 시프트를 강조한다