[논문 리뷰] Deep Learning from Small Amount of Medical Data with Noisy Labels: A Meta-Learning Approach

Görkem Algan, İlkay Ulusoy외 3명|arXiv (Cornell University)|2020. 10. 14.

Machine Learning and Data Classification참고 문헌 28인용 수 4

한 줄 요약

이 논문은 소량의 청소된 '메타데이터'를 활용하여 노이즈가 많은 레이블을 가진 소규모 의료 데이터셋에서 딥러닝 성능을 향상시키기 위한 메타학습 프레임워크를 제안한다. 메타학습 중 소프트 레이블 예측을 사용하여 레이블 노이즈에 대한 과적합을 줄이고, 68%의 레이블 노이즈가 있는 미숙아 황반변성(Retinopathy of Prematurity, ROP) 데이터셋에서 91.4%의 테스트 정확도를 달성하여 표준 크로스 엔트로피 학습 및 기존 방법들보다 우수한 성능을 보였다.

ABSTRACT

Computer vision systems recently made a big leap thanks to deep neural networks. However, these systems require correctly labeled large datasets in order to be trained properly, which is very difficult to obtain for medical applications. Two main reasons for label noise in medical applications are the high complexity of the data and conflicting opinions of experts. Moreover, medical imaging datasets are commonly tiny, which makes each data very important in learning. As a result, if not handled properly, label noise significantly degrades the performance. Therefore, a label-noise-robust learning algorithm that makes use of the meta-learning paradigm is proposed in this article. The proposed solution is tested on retinopathy of prematurity (ROP) dataset with a very high label noise of 68%. Results show that the proposed algorithm significantly improves the classification algorithm's performance in the presence of noisy labels.

연구 동기 및 목표

• 전문가 간의 의견 차이와 데이터의 복잡성으로 인해 고도로 노이즈가 많은 소규모 의료 데이터셋에서 딥러닝 모델을 훈련시키는 데 도전 과제를 해결하기 위해.
• 소규모이고 노이즈가 많은 데이터셋에서 실패하는 전통적인 손실 함수와 데이터 정제 방법의 한계를 극복하기 위해.
• 최소한의 검증된 청소된 데이터를 활용하여 노이즈가 많은 레이블에서 효과적으로 학습할 수 있도록 메타학습 프레임워크를 개발하기 위해.
• 특히 데이터가 부족한 상황에서 의료 영상 분류에서 일반화 능력을 향상시키고 레이블 노이즈에 대한 과적합을 방지하기 위해.
• 소규모이고 극도로 노이즈가 많은 미숙아 황반변성 데이터셋에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 이 프레임워크는 기존의 학습 루프와 하이퍼파라미터를 최적화하기 위한 메타학습 루프로 구성된 이중 루프 메타학습 아키텍처를 사용한다.
• 메타학습 중 모델은 소량의 검증된 청소된 예제(메타데이터)를 사용하여 노이즈가 있는 훈련 데이터의 소프트 레이블 표현을 예측한다.
• 기본 분류기는 진짜 레이블이 아닌 예측된 소프트 레이블을 기반으로 훈련되어 잘못된 레이블의 기억을 줄인다.
• 메타목표는 하이퍼파라미터 K=10, α=0.5, β=4000를 사용한 메타손실과 기본손실의 가중 조합으로 최적화된다.
• 더 큰 당뇨병성 망막병변 데이터셋에서의 사전학습은 ROP 데이터셋으로의 피지컬 튜닝 이전에 특징 학습을 향상시킨다.
• 모멘텀을 사용한 확률적 경사 하강법과 학습률 스케줄링을 사용하며, 10개의 웜업 에포크 이후 20개의 메타학습 에포크를 수행한다.

실험 결과

연구 질문

• RQ1 극도의 레이블 노이즈가 있는 소규모 의료 데이터셋에서 메타학습이 일반화 능력을 효과적으로 향상시킬 수 있는가?
• RQ2 소량의 청소된 메타데이터를 사용함으로써 의료 영상 분류에서 노이즈가 많은 레이블로부터의 학습이 어떻게 향상되는가?
• RQ3 표준 크로스 엔트로피 학습과 비교했을 때, 소프트 레이블 예측 메커니즘이 노이즈가 많은 레이블에 대한 과적합을 얼마나 줄일 수 있는가?
• RQ4 제안된 방법이 소규모이고 노이즈가 많은 의료 데이터셋에서 기존의 전통적 및 최신 기술 수준의 접근법보다 우수한 성능을 보일 수 있는가?
• RQ5 모델은 100%의 훈련 정확도를 기록하지 않으면서도 레이블 노이즈에 대해 강건성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 68%의 레이블 노이즈가 있는 ROP 데이터셋에서 91.4%의 테스트 정확도를 달성하여 표준 크로스 엔트로피 학습(86.3% 및 90.3%)을 능가했다.
• 제안된 방법에서는 훈련 정확도가 86.23%로 제한되어, 크로스 엔트로피 학습이 100%에 도달한 것과는 달리 노이즈가 많은 레이블에 대한 과적합을 효과적으로 방지했다.
• 이 방법은 훈련 데이터셋이 훨씬 더 큰(5.5k~8.5k장) 기존 연구들과 유사한 성능을 보였지만, 실제로는 1.9k장의 이미지로만 훈련되었다.
• 더 큰 당뇨병성 망막병변 데이터셋에서의 사전학습은 ROP 데이터셋에 직접 훈련하는 것보다 성능을 4% 향상시켰다.
• 최소한의 청소된 메타데이터를 효과적으로 활용하여 노이즈가 많은 데이터에서 유용한 지식을 추출함으로써, 낮은 데이터, 높은 노이즈 환경에서의 효과성을 입증했다.
• 극도의 레이블 노이즈 조건에서도 모델이 강건성을 유지함으로써, 실제 의료 영상 응용 분야에서의 실용성을 시사했다.