[논문 리뷰] Noisy Label Learning for Large-scale Medical Image Classification.

Fengbei Liu, Yu Tian외 4명|arXiv (Cornell University)|2021. 03. 06.

COVID-19 diagnosis using AI참고 문헌 37인용 수 6

한 줄 요약

이 논문은 흉부 X-ray14 데이터셋에 적합한 최신의 노이즈 레이블 학습 기법을 적용하여 레이블 노이즈가 있는 대규모 의료 영상 분류를 향상시키는 새로운 방법을 제안한다. 이는 노이즈가 있는 테스트 세트의 결과를 사용하여 청소된 테스트 데이터에 대한 모델 성능을 이론적으로 근거를 두고 추정하는 방법을 도입하여, 'No Finding' 클래스가 다수의 질병이 존재할 경우 잘못 분류되기 쉬워 노이즈의 주요 원인이 됨을 드러낸다.

ABSTRACT

The classification accuracy of deep learning models depends not only on the size of their training sets, but also on the quality of their labels. In medical image classification, large-scale datasets are becoming abundant, but their labels will be noisy when they are automatically extracted from radiology reports using natural language processing tools. Given that deep learning models can easily overfit these noisy-label samples, it is important to study training approaches that can handle label noise. In this paper, we adapt a state-of-the-art (SOTA) noisy-label multi-class training approach to learn a multi-label classifier for the dataset Chest X-ray14, which is a large scale dataset known to contain label noise in the training set. Given that this dataset also has label noise in the testing set, we propose a new theoretically sound method to estimate the performance of the model on a hidden clean testing data, given the result on the noisy testing data. Using our clean data performance estimation, we notice that the majority of label noise on Chest X-ray14 is present in the class 'No Finding', which is intuitively correct because this is the most likely class to contain one or more of the 14 diseases due to labelling mistakes.

연구 동기 및 목표

• 영상의학 보고서에서 자동으로 추출된 레이블을 포함한 대규모 의료 영상 데이터셋에서의 레이블 노이즈 문제를 다루는 것.
• 최신의 노이즈 레이블 학습 기법을 적응시켜 노이즈가 있는 훈련 데이터에서 딥 러닝 모델의 일반화 성능을 향상시키는 것.
• 노이즈가 있는 테스트 세트의 예측 결과를 사용하여 숨겨진 청소된 테스트 데이터에 대한 모델 성능을 이론적으로 타당하게 추정하는 방법을 개발하는 것.
• 특히 'No Finding' 클래스에서 발생하는 레이블 노이즈의 근본 원인을 특정하고 분석하는 것.

제안 방법

• Chest X-ray14 데이터셋의 다중 레이블 분류 설정에 최신의 다중 클래스 노이즈 레이블 훈련 방법을 적응 적용하는 것.
• 노이즈가 있는 테스트 세트의 예측 결과를 사용하여 숨겨진 청소된 테스트 세트의 모델 성능을 추정하는 이론적 프레임워크를 도입하는 것.
• 청소된 성능 추정치를 활용하여 레이블 노이즈가 존재하는 환경에서 모델 훈련과 하이퍼파라미터 선택을 이끄는 것.
• 14개 클래스에 걸쳐 레이블 노이즈의 분포를 분석하고, 특히 오류의 주요 원인이 되는 'No Finding' 클래스에 집중하는 것.

실험 결과

연구 질문

• RQ1 영상의학 보고서에서 추출된 노이즈가 있는 레이블을 가진 대규모 의료 영상 데이터셋에서 딥 러닝 모델을 효과적으로 훈련시키는 방법은 무엇인가?
• RQ2 레이블 노이즈가 특히 Chest X-ray14 데이터셋의 'No Finding' 클래스에서 모델 성능에 미치는 영향은 어떠한가?
• RQ3 노이즈가 있는 테스트 데이터만 이용 가능한 상황에서 청소된 테스트 데이터에 대한 모델 성능을 이론적으로 타당하게 추정할 수 있는가?
• RQ4 Chest X-ray14 데이터셋에서 레이블 노이즈에 가장 영향을 받는 클래스는 무엇이며, 그 이유는 무엇인가?

주요 결과

• 'No Finding' 클래스는 다수의 질환이 동반될 경우 잘못 분류되기 쉬워 Chest X-ray14 데이터셋에서 레이블 노이즈의 주요 원인이 된다.
• 청소된 테스트 성능을 추정하는 데 사용된 제안된 방법은 노이즈가 있는 테스트 레이블이 존재하더라도 모델 일반화 성능에 대한 신뢰할 수 있는 대체 지표를 제공한다.
• 노이즈가 있는 테스트 세트에서의 모델 성능은 청소된 데이터에 대한 진정한 성능을 크게 낮게 평가하므로, 청소된 성능 추정이 필요함을 시사한다.
• 최신의 노이즈 레이블 학습 기법을 적응 적용함으로써 Chest X-ray14의 노이즈가 있는 훈련 데이터에서 모델의 강건성과 정확도가 향상됨을 확인하였다.