[논문 리뷰] Mitigating the Effect of Dataset Bias on Training Deep Models for Chest X-rays.

Yundong Zhang, Hang Wu외 3명|arXiv (Cornell University)|2019. 10. 12.

COVID-19 diagnosis using AI참고 문헌 34인용 수 5

한 줄 요약

이 논문은 흉부 X-ray 진단을 위한 딥러닝에서 데이터셋 편향을 다루기 위해 새로운 다중 소스 도메인 일반화 프레임워크를 제안한다. 최대 마진 손실을 개선하여 최적화를 더 부드럽게 하고, 복수의 층을 통해 교차 기울기 신호를 활용하는 MCT(Multi-layer Cross-gradient Training)를 도입하여 예측할 수 없는 데이터 증강을 시뮬레이션함으로써, 분포 외 테스트 세트에서 모델의 일반화 능력과 강건성에 크게 기여한다.

ABSTRACT

Deep learning has gained tremendous attention on CAD (Computer-aided Diagnosing) application, particularly biomedical imaging analysis. We analyze three large-scale publicly available CXR (Chest X-ray) datasets and find that vanilla training of deep models on diagnosing common Thorax Diseases are subject to dataset bias, leading to severe performance degradation when evaluated on unseen test set. In this work, we frame the problem as multi-source domain generalization task and make two contributions to handle dataset bias: 1. we improve the classical Max-margin loss function by making it more general and smooth; 2. we propose a new training framework named MCT (Multi-layer Cross-gradient Training) for unseen data argumentation. Empirical studies show that our methods significantly improve the model generalization and robustness to dataset bias.

연구 동기 및 목표

• 공개된 흉부 X-ray 데이터셋을 기반으로 훈련된 딥러닝 모델에 대한 데이터셋 편향의 영향을 조사하는 것.
• 편향된 데이터 분포로 인한 예측할 수 없는 테스트 세트에서의 성능 저하 문제를 해결하는 것.
• 다양한 데이터셋 간 평가 환경에서 모델의 일반화 능력과 강건성을 향상시키는 것.
• 더 나은 도메인 일반화를 위해 예측할 수 없는 데이터를 시뮬레이션하는 훈련 프레임워크를 개발하는 것.

제안 방법

• 논문은 고전적인 최대 마진 손실을 더 일반적이고 부드럽게 재정의하여 최적화 안정성을 향상시킨다.
• MCT(Multi-layer Cross-gradient Training)라는 새로운 훈련 프레임워크를 도입하여 복수의 네트워크 층 간의 교차 기울기 신호를 활용한다.
• MCT는 복수의 층을 통해 기울기를 전파함으로써 가짜 데이터 증강을 가능하게 하여 예측할 수 없는 데이터 분포를 시뮬레이션한다.
• 이 방법은 도메인 일반화 문제를 다중 소스 도메인 일반화 작업으로 간주하여 강건성을 향상시킨다.
• 프레임워크는 추론 시 도메인 이동 영향을 최소화하기 위해 엔드 투 엔드로 훈련된다.
• 명시적인 데이터 증강이 필요 없으며, 기울기 상호작용을 통해 효과적인 인덕티브 바이어스를 생성한다.

실험 결과

연구 질문

• RQ1 공개된 흉부 X-ray 데이터셋을 기반으로 훈련된 딥러닝 모델에 데이터셋 편향이 어떻게 영향을 미치는가?
• RQ2 수정된 최대 마진 손실 함수는 다중 소스 도메인 일반화에서 최적화와 일반화를 향상시키는 데 효과적인가?
• RQ3 MCT는 명시적인 데이터 샘플링 없이 얼마나 효과적인 데이터 증강을 생성할 수 있는가?
• RQ4 제안된 프레임워크는 분포 외 테스트 세트에서 모델의 강건성을 어떻게 향상시키는가?
• RQ5 데이터셋 편향을 완화하는 데 있어 손실 함수 수정과 훈련 프레임워크 설계의 상대적 기여도는 어느 정도인가?

주요 결과

• 제안된 MCT 프레임워크는 기준 모델에 비해 다양한 흉부 X-ray 데이터셋 간의 모델 일반화 능력을 크게 향상시킨다.
• 개선된 최대 마진 손실은 훈련 중 더 부드러운 최적화와 더 나은 수렴을 이끌어낸다.
• 실험 결과, 개선된 손실과 MCT의 조합이 예측할 수 없는 테스트 세트에서 뛰어난 성능을 보인다.
• 모델는 도메인 이동에 대해 강건성을 보이며, 데이터셋 특화 편향에 덜 민감한 것으로 나타났다.
• 표준 훈련 프로토콜에 비해 다중 데이터셋 평가에서 더 뛰어난 성능을 보이며, 도메인 일반화에서의 효과성을 확인한다.
• 명시적인 데이터 증강 없이도 기울기 기반의 데이터 시뮬레이션에 의존하여 더 나은 일반화를 달성한다.