[논문 리뷰] Deep Learning Applied to Chest X-Rays: Exploiting and Preventing Shortcuts

Sarah Jabbour, David F. Fouhey외 3명|arXiv (Cornell University)|2020. 09. 21.

Radiomics and Machine Learning in Medical Imaging인용 수 9

한 줄 요약

이 논문은 흉부 X선 영상에서 딥 러닝 모델이 나이, 성별, 심장 pacing 기기 유무와 같은 비의미적인 상관관계를 단기적 해결책으로 악용하여 임상적으로 유의미한 질환 특징을 학습하지 않는 방식을 조사한다. 비편향된 소스 작업(예: 폐렴)에서 사전 훈련하고, 편향된 타겟 작업(예: 심부전)에서 마지막 레이어만 미세조정하는 단순한 전이 학습 방법을 제안하며, 왜곡된 데이터에서 AUROC 0.66에서 0.84로 일반화 성능을 향상시킨다.

ABSTRACT

While deep learning has shown promise in improving the automated diagnosis of disease based on chest X-rays, deep networks may exhibit undesirable behavior related to shortcuts. This paper studies the case of spurious class skew in which patients with a particular attribute are spuriously more likely to have the outcome of interest. For instance, clinical protocols might lead to a dataset in which patients with pacemakers are disproportionately likely to have congestive heart failure. This skew can lead to models that take shortcuts by heavily relying on the biased attribute. We explore this problem across a number of attributes in the context of diagnosing the cause of acute hypoxemic respiratory failure. Applied to chest X-rays, we show that i) deep nets can accurately identify many patient attributes including sex (AUROC = 0.96) and age (AUROC >= 0.90), ii) they tend to exploit correlations between such attributes and the outcome label when learning to predict a diagnosis, leading to poor performance when such correlations do not hold in the test population (e.g., everyone in the test set is male), and iii) a simple transfer learning approach is surprisingly effective at preventing the shortcut and promoting good generalization performance. On the task of diagnosing congestive heart failure based on a set of chest X-rays skewed towards older patients (age >= 63), the proposed approach improves generalization over standard training from 0.66 (95% CI: 0.54-0.77) to 0.84 (95% CI: 0.73-0.92) AUROC. While simple, the proposed approach has the potential to improve the performance of models across populations by encouraging reliance on clinically relevant manifestations of disease, i.e., those that a clinician would use to make a diagnosis.

연구 동기 및 목표

• 딥 신경망이 인구통계학적 요소나 영상 촬영 프로토콜 편향과 같은 흉부 X선 데이터에서 비의미적인 상관관계를 어떻게 악용하는지 조사하기.
• 특정 속성 분포가 다른 새로운 환자 집단에 적용될 때 이러한 단기적 해결책이 모델의 일반화 능력을 어떻게 떨어뜨리는지 이해하기.
• 비편향된 소스 작업에서 사전 훈련하고 마지막 레이어만 미세조정하는 전이 학습 접근법을 평가하여 단기적 해결책에 대한 의존도를 줄이기.
• 이 방법이 데이터 편향에 대한 사전 지식 없이도 편향된 진단 작업에서 성능을 향상시키는지 평가하기.

제안 방법

• 이 방법은 두 단계 훈련 과정을 사용한다: 먼저 MIMIC-CXR 및 CheXpert와 같은 대규모 다각도 데이터셋을 사용해 소스 작업(예: 폐렴)에서 깊은 CNN(DenseNet)을 사전 훈련한다.
• 그 후, 편향된 훈련 데이터를 사용해 타겟 진단 작업(예: 심부전)에서 마지막 레이어(선형 분류기)만 미세조정한다.
• 이 접근법은 소스 작업에서 학습한 특징(예: 폐 부패 또는 체액 패턴)이 다양한 진단 간에 이식 가능하고 임상적으로 관련성이 있다고 가정한다.
• 이 방법은 인위적으로 환자 속성(예: 나이, 성별)과 타겟 레이블 간의 상관관계를 부여한 편향된 데이터 스케일 조건 하에서 평가된다.
• 성능은 다양한 정도의 속성 편향이 있는 보류된 테스트 세트에서 AUROC로 측정되며, 표준 엔드 투 엔드 훈련 및 다른 미세조정 기반 기준과 비교된다.
• 이 방법은 다양한 인위적 및 실제 편향된 데이터 분포에서 검증되어 안정성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 단일 흉부 X선 영상에서 나이, 성별, BMI와 같은 인구통계학적 특징을 얼마나 정확하게 학습할 수 있는가?
• RQ2 환자 속성과 질병 레이블 간의 비의미적인 상관관계가 테스트 세트에서 속성 분포가 변화할 경우 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 비편향된 소스 작업에서 사전 훈련하고 마지막 레이어만 미세조정하는 전이 학습 접근법이 단기적 해결책 학습을 완화하고 편향된 진단 작업에서 성능을 향상시킬 수 있는가?
• RQ4 소스 작업 자체에 약간의 편향된 속성과의 상관관계가 있을 경우, 이 방법의 성능은 다양한 수준의 데이터 편향에서 어떻게 변하는가?
• RQ5 이 방법은 나이, 성별, 영상 전처리와 같은 다양한 유형의 편향에 대해 일반화되어 성능을 향상시키고, 모델의 강건성을 높일 수 있는가?

주요 결과

• 딥 신경망은 단일 흉부 X선 영상에서 성별을 AUROC = 0.96로, 나이를 AUROC ≥ 0.90로 매우 높은 정확도로 식별할 수 있어 비질병 관련 특징을 강하게 학습하고 있음을 시사한다.
• 훈련 데이터에 비의미적인 상관관계(예: 연령이 높은 환자일수록 CHF일 가능성이 높음)가 존재할 경우, 모델은 이러한 단기적 해결책에 의존하여, 상관관계가 성립하지 않는 테스트 세트(예: 모든 남성 환자)에서는 성능이 떨어진다.
• CHF 진단을 위한 훈련 세트에서 63세 이상 환자가 과도하게 포함된 왜곡된 데이터셋에서 표준 훈련은 AUROC 0.66(95% CI: 0.54–0.77)를 기록하여 일반화 능력이 떨어짐을 보였다.
• 폐렴에서 사전 훈련하고 마지막 레이어만 미세조정하는 제안된 전이 학습 방법은 AUROC를 0.84(95% CI: 0.73–0.92)로 향상시켜 표준 훈련을 유의미하게 뛰어넘었다.
• 소스 작업(예: 폐렴)이 약간의 편향된 속성과 상관관계가 있을 경우에도 이 방법은 효과를 유지하여 실제 데이터의 완벽하지 않은 특성에 대한 강건성을 보였다.
• 편향이 극도로 심할 경우(예: 거의 완벽한 상관관계), 성능은 저하되지만 여전히 표준 훈련보다 우수하여 단기적 해결책 학습의 부분적 완화 효과를 보였다.