[논문 리뷰] CheXpedition: Investigating Generalization Challenges for Translation of Chest X-Ray Algorithms to the Clinical Setting

Pranav Rajpurkar, Anirudh Joshi외 6명|arXiv (Cornell University)|2020. 02. 26.

COVID-19 diagnosis using AI참고 문헌 40인용 수 24

한 줄 요약

이 연구는 체크엔트 챌린지 최고 성능 모델들이 세 가지 임상 번역 과제에서의 일반화 능력을 평가한다: 흉부결핵(TB) 검출(특수 TB 훈련 없이), 스마트폰 사진으로 찍은 흉부 x-ray에서의 성능, 그리고 다른 기관의 데이터에서의 외부 검증. 모델들은 모든 과제에서 뛰어난 성능을 보였으며, AUC는 TB에서 0.851, 사진에서 0.916, 외부 데이터에서 방사선의사 수준과 동일하거나 이를 초월했다. 이는 미세조정 없이도 강력한 일반화 능력을 보이며, 혼동되는 기관 특이적 특징에 의존할 증거가 없음을 시사한다.

ABSTRACT

Although there have been several recent advances in the application of deep learning algorithms to chest x-ray interpretation, we identify three major challenges for the translation of chest x-ray algorithms to the clinical setting. We examine the performance of the top 10 performing models on the CheXpert challenge leaderboard on three tasks: (1) TB detection, (2) pathology detection on photos of chest x-rays, and (3) pathology detection on data from an external institution. First, we find that the top 10 chest x-ray models on the CheXpert competition achieve an average AUC of 0.851 on the task of detecting TB on two public TB datasets without fine-tuning or including the TB labels in training data. Second, we find that the average performance of the models on photos of x-rays (AUC = 0.916) is similar to their performance on the original chest x-ray images (AUC = 0.924). Third, we find that the models tested on an external dataset either perform comparably to or exceed the average performance of radiologists. We believe that our investigation will inform rapid translation of deep learning algorithms to safe and effective clinical decision support tools that can be validated prospectively with large impact studies and clinical trials.

연구 동기 및 목표

• 체크엔트 챌린지에서 상위 성능을 보인 흉부 x-ray 모델들이 훈련 데이터에 포함되지 않은 질환, 예를 들어 결핵(TB)에 대해 일반화 가능한지 조사하기 위해.
• 디지털 스마트폰 사진으로 찍은 x-ray에 적용했을 때 모델의 성능을 평가하여, 필름이 일반적인 저자원 환경에서의 실제 임상 사용을 시뮬레이션하기 위해.
• 다른 기관의 데이터에 대해 일반화 능력을 평가하여, 모델의 편향과 다양한 의료 환경 간의 전이 가능성에 대한 우려를 해결하기 위해.
• 모델이 임상적으로 관련 있는 특징이 아닌, 비의료적 혼동 요인(예: 기관 특이적 아티팩트)에 의존하여 결정을 내리는지 여부를 확인하기 위해.

제안 방법

• 연구는 체크엔트 챌린지 랭킹의 상위 10개 모델을 평가하였으며, 이들 모두가 DenseNet 아키텍처를 사용한 앙상블 모델이었다.
• 모델들은 세 가지 새로운 테스트 세트에서 재실행되었다: 두 개의 공개된 TB 데이터셋, 스마트폰으로 찍은 x-ray 사진 세트, 그리고 다른 기관의 외부 데이터셋.
• 각 과제에 대해 AUC(ROC 곡선 아래 면적)를 측정하였으며, 외부 데이터셋에서 방사선의사의 성능과 비교하였다.
• 모델이 임상적으로 관련 있는 해부학적 영역에 집중했는지 여부를 평가하기 위해 클래스 활성화 맵(CAMs)을 분석하였다.
• 모든 모델은 훈련 중에 TB 또는 외부 기관 레이블을 포함하지 않도록 하여 테스트 데이터에 대한 노출을 완전히 제거하고, 미세조정 없이 테스트되었다.
• 연구는 CodaLab 플랫폼을 사용하여 원래 챌린지 평가 프로토콜의 무결성을 유지하면서 신규 테스트 세트에서 모델을 재실행하였다.

실험 결과

연구 질문

• RQ1 미국 기반의 체크엔트 레이블이 포함된 데이터로 훈련된 흉부 x-ray 모델들이, 훈련 데이터에 명시적으로 포함되지 않은 질환인 결핵(TB)을 일반화하여 검출할 수 있는가?
• RQ2 이러한 모델들은 저자원 환경에서 흔히 사용되는 x-ray 사진으로 찍힌 디지털 사진에 적용되었을 때 어떻게 성능을 보이는가?
• RQ3 다른 기관의 데이터에서 평가되었을 때 이러한 모델들은 분포 이탈에 대응하는 강건성을 유지하는가?
• RQ4 모델들이 임상적으로 관련 있는 특징이 아닌, 비의료적 기관 특이적 아티팩트나 혼동 요인에 의존하여 예측을 내리는가?

주요 결과

• 상위 10개 체크엔트 모델은 TB 전용 훈련 없이도 두 개의 공개 TB 데이터셋에서 평균 AUC 0.851을 기록하여, 세계적으로 중요한 질환에 대해 강력한 제로샷 일반화 능력을 보였다.
• 스마트폰 사진으로 찍은 x-ray에서의 성능(AUC = 0.916)은 원본 디지털 x-ray에서의 성능(AUC = 0.924)과 거의 동일하여, 이미지 품질 변화로 인한 성능 저하가 미미함을 시사한다.
• 다른 기관의 외부 데이터셋에서 모델은 평균 방사선의사 성능과 동일하거나 이를 초월하였으며, 특히 민감도 측면에서 뛰어난 성능을 보였다. 이는 미세조정 없이도 가능했다.
• 클래스 활성화 맵 분석 결과, 모델들이 혼동 요인보다 임상적으로 관련 있는 해부학적 영역에 집중하고 있음을 확인하여, 비의료적 관련 없는 신호에 거의 의존하지 않았음을 시사한다.
• 체크엔트 과제에서의 평균 AUC는 TB 성능에 강력한 예측 변수였으며(R² = 0.78), 이는 표준 과제에서의 일반화 능력이 희귀 질환에 대한 성능과 관련이 있음을 시사한다.
• 결과는 기존의 흉부 x-ray 모델이 추가 엔지니어링 없이도 기관, 기기, 질환 간에 일반화할 수 있음을 시사하며, 이는 이전의 모델의 취약성에 대한 우려를 도전한다.