[논문 리뷰] Deep learning with noisy labels: exploring techniques and remedies in medical image analysis

Davood Karimi, Haoran Dou외 2명|arXiv (Cornell University)|2019. 12. 05.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 의료 영상 데이터셋에서 발생하는 레이블 노이즈—관찰자 간 차이, 인간 실수, 자동 레이블링으로 인한 것—를 조사하고, 딥러닝 모델에 미치는 영향을 완화하기 위한 기법들을 평가한다. 세 개의 의료 영상 데이터셋에서의 실험을 통해 저자들은 단순한 레이블 필터링이나 고손실 샘플을 무시하는 것보다도, annotator 혼란을 모델링하고 불확실성 인식 학습을 활용하는 것이 성능을 크게 향상시킴을 보여준다.

ABSTRACT

Supervised training of deep learning models requires large labeled datasets. There is a growing interest in obtaining such datasets for medical image analysis applications. However, the impact of label noise has not received sufficient attention. Recent studies have shown that label noise can significantly impact the performance of deep learning models in many machine learning and computer vision applications. This is especially concerning for medical applications, where datasets are typically small, labeling requires domain expertise and suffers from high inter- and intra-observer variability, and erroneous predictions may influence decisions that directly impact human health. In this paper, we first review the state-of-the-art in handling label noise in deep learning. Then, we review studies that have dealt with label noise in deep learning for medical image analysis. Our review shows that recent progress on handling label noise in deep learning has gone largely unnoticed by the medical image analysis community. To help achieve a better understanding of the extent of the problem and its potential remedies, we conducted experiments with three medical imaging datasets with different types of label noise, where we investigated several existing strategies and developed new methods to combat the negative effect of label noise. Based on the results of these experiments and our review of the literature, we have made recommendations on methods that can be used to alleviate the effects of different types of label noise on deep models trained for medical image analysis. We hope that this article helps the medical image analysis researchers and developers in choosing and devising new techniques that effectively handle label noise in deep learning.

연구 동기 및 목표

• 관찰자 간 차이와 자동 레이블링으로 인한 레이블 노이즈의 보편성과 영향을 조사하는 것.
• 의료 영상 분석 응용 분야에서 레이블 노이즈를 다루기 위한 기존 및 신규 딥러닝 기법을 평가하는 것.
• 임상 딥러닝 파이프라인에서 노이즈에 강건한 학습 전략을 선택하고 적용하기 위한 근거 기반 권고를 제공하는 것.
• annotator 불확실성과 혼란 행렬을 모델링하는 것이 레이블 필터링이나 고손실 샘플을 무시하는 것보다 더 높은 성능을 내는가를 입증하는 것.

제안 방법

• 손실 보정, 레이블 스무딩, 불확실성 인식 학습을 포함한 여러 레이블 노이즈 완화 전략을 평가하였다.
• CNN 예측 불확실성을 활용하여 부족한 영역을 식별함으로써, 누락된 영역을 탐지하고 수정하는 방법을 제안하였다.
• 엔드 투 엔드 학습 중 개별 전문가의 레이블 오류를 혼란 행렬 기반 접근법으로 모델링하였다.
• 관련 영상 시퀀스(예: T2-강조 영상에서 DW-MRI로의 변환)로부터 컴퓨터 생성된 노이즈 레이블을 약한 지도 학습으로 활용하여 모델 일반화 능력을 향상시켰다.
• 레이블 필터링, 손실 가중치, 앙상블 기반 레이블 융합을 포함한 다양한 방법의 성능을 비교하였다.
• 전문가 레이블링에서 작은 구조가 누락된 경우, 관찰자 간 차이가 있는 다중 전문가 세그멘테이션, 애틀라스 기반 노이즈 레이블링을 포함한 다양한 노이즈 유형을 가진 데이터셋에서 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 관찰자 간 차이로 인한 레이블 노이즈는 의료 영상 분석에서 딥러닝 모델 성능에 어떻게 영향을 미치는가?
• RQ2 의료 영상에서 다양한 유형의 레이블 노이즈에 대해 가장 효과적인 레이블 노이즈 완화 기법은 무엇인가?
• RQ3 학습 중 annotator 혼란을 모델링하는 것이 전통적인 레이블 융합이나 필터링 전략을 능가할 수 있는가?
• RQ4 진단 기준이 부족한 상황에서 관련 영상 모odalities로부터의 약한 지도 레이블은 모델 성능 향상에 얼마나 기여하는가?
• RQ5 누락된 영역를 불확실성 기반으로 탐지하는 방법은 병변 세그멘테이션 작업에서 일반화 능력을 향상시키는가?

주요 결과

• 다중 전문가 세그멘테이션 작업에서, 학습 중 annotator 혼란을 모델링하는 것이 레이블 융합이나 손실 필터링보다 유의미하게 뛰어난 성능을 보였다.
• CNN 예측 불확실성의 활용으로, 작은, 흐린, 또는 고립된 병변에서의 누락된 영역 탐지 및 수정이 효과적으로 이루어졌다.
• 일치하는 T2-강조 영상에서 생성된 컴퓨터 기반 노이즈 레이블을 사용한 학습은 오직 65개의 수동으로 세그멘테이션된 DW-MRI 영상만을 사용한 학습보다도 더 높은 모델 성능을 달성했다.
• 고손실 샘플을 무시하는 것은 특히 체계적인 레이블링 편향이 존재하는 데이터셋에서는 레이블 불확실성 모델링보다 성능이 열등했다.
• 자동화된 시스템에서 유래한 레이블 노이즈는 너무 정확도가 떨어지면 해로웠지만, 진짜解부학적 구조와 충분히 일치할 경우 유용했다.
• 혼란 모델링을 적용한 다중 전문가 레이블링은 단일 전문가 레이블링이나 단순 평균화보다 더 높은 성능 향상을 이끌어냈다.