[논문 리뷰] Curriculum learning for annotation-efficient medical image analysis: scheduling data with prior knowledge and uncertainty

Amelia Jiménez-Sánchez, Diana Mateus외 6명|arXiv (Cornell University)|2020. 07. 31.

COVID-19 diagnosis using AI참고 문헌 2인용 수 5

한 줄 요약

이 논문은 이전 지식 또는 모델 예측에서 유도된 난이도 및 불확실성 점수를 사용하여 의료 영상 분석에서 학습 샘플을 스케줄링하는 통합 커리큘럼 학습 프레임워크를 제안한다. 이러한 점수를 바탕으로 데이터를 재정렬하고 재가중함으로써, 모델 성능을 향상시키며 특히 데이터 부족, 클래스 불균형 및 레이블 노이즈 상황에서도 숙련된 외상 외과의사 수준의 정확도를 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) for multi-class classification require training on large, representative, and high quality annotated datasets. However, in the field of medical imaging, data and annotations are both difficult and expensive to acquire. Moreover, they frequently suffer from highly imbalanced distributions, and potentially noisy labels due to intra- or inter-expert disagreement. To deal with such challenges, we propose a unified curriculum learning framework to schedule the order and pace of the training samples presented to the optimizer. Our novel framework reunites three strategies consisting of individually weighting training samples, reordering the training set, or sampling subsets of data. The core of these strategies is a scoring function ranking the training samples according to either difficulty or uncertainty. We define the scoring function from domain-specific prior knowledge or by directly measuring the uncertainty in the predictions. We perform a variety of experiments with a clinical dataset for the multi-class classification of proximal femur fractures and the publicly available MNIST dataset. Our results show that the sequence and weight of the training samples play an important role in the optimization process of CNNs. Proximal femur fracture classification is improved up to the performance of experienced trauma surgeons. We further demonstrate the benefits of our unified curriculum learning method for three controlled and challenging digit recognition scenarios: with limited amounts of data, under class-imbalance, and in the presence of label noise.

연구 동기 및 목표

• 딥 러닝에서 비용이 많이 들고, 불균형하며 노이즈가 많은 의료 영상 레이블링 문제를 해결하기 위해.
• 다중 클래스 의료 영상 분류에서 합성곱 신경망(CNN)의 효율성과 강건성을 향상시키기 위해.
• 난이도 및 불확실성 점수를 사용하여 샘플 재정렬, 재가중, 부분 집합 샘플링을 통합하는 통합 커리큘럼 학습 접근법을 개발하기 위해.
• 데이터 부족, 클래스 불균형 및 레이블 노이즈 조건 하에서 대퇴골두 골절 분류 및 숫자 인식 작업에 대해 방법을 평가하기 위해.
• 임상 환경에서 숙련된 방사선 전문의 수준의 진단 정확도에 근접한 성능 향상을 입증하기 위해.

제안 방법

• 프레임워크는 도메인 특화 사전 지식 또는 모델 예측 신뢰도에서 유도된 난이도 또는 불확실성 점수 기반의 점수 함수를 사용하여 학습 샘플을 순위 매긴다.
• 훈련 중에 샘플을 재정렬하고 재가중하여 더 쉬운 또는 더 정보가 많은 예제부터 시작하는 커리큘럼을 따르도록 한다.
• 모든 전략은 동일한 불확실성 기반 점수에 의해 이끌리는 세 가지 전략을 통합한다: 샘플 재가중, 데이터 재정렬, 동적 부분 집합 샘플링.
• 불확실성은 모델 예측의 분산 또는 엔트로피로 측정되며, 사전 지식은 의료 영상에 대한 초기 난이도 추정치를 제공한다.
• 최적화는 커리큘럼 스케줄링된 데이터 플로우에 의해 이끌리는 CNN을 사용하여 다중 클래스 분류에 적용된다.
• 프레임워크는 제어된 어려운 조건 하에서 임상용 대퇴골두 골절 데이터셋과 MNIST 데이터셋에 대해 평가된다.

실험 결과

연구 질문

• RQ1 불확실성과 사전 지식에 기반한 훈련 샘플 스케줄링이 의료 영상 분류에서 CNN 성능을 어떻게 향상시키는가?
• RQ2 커리큘럼 학습이 의료 영상에서 데이터 부족 및 클래스 불균형 상황에서 성능 저하를 얼마나 효과적으로 완화할 수 있는가?
• RQ3 제안된 프레임워크가 골절 분류에서 숙련된 방사선 전문의 수준의 진단 성능을 달성할 수 있는가?
• RQ4 재가중, 재정렬 및 부분 집합 샘플링을 통합함으로써 최적화의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 레이블 노이즈가 모델 성능에 미치는 영향은 무엇이며, 커리큘럼 프레임워크는 이를 어떻게 완화하는가?

주요 결과

• 커리큘럼 학습 프레임워크는 대퇴골두 골절 데이터에서 분류 정확도를 크게 향상시켜 숙련된 외상 외과의사 수준의 성능에 도달한다.
• 이 방법은 데이터 부족 조건에서도 뛰어난 성능을 유지하며, 제한된 레이블이 있는 경우에도 높은 정확도를 유지한다.
• 클래스 불균형 조건 하에서 커리큘럼 접근법은 주로수 클래스에 대한 편향을 줄이고 소수 클래스의 재현율을 향상시킨다.
• 프레임워크는 레이블 노이즈에 뛰어난 내성을 보이며, 최대 20%의 레이블이 손상된 경우에도 높은 정확도를 유지한다.
• 불확실성과 사전 지식에 기반한 샘플 재정렬 및 재가중은 표준 훈련보다 빠른 수렴과 더 나은 일반화 성능을 이끈다.
• 통합 프레임워크는 단일 점수 기반 메커니즘을 통해 여러 스케줄링 전략을 통합함으로써 기존 커리큘럼 기반 방법보다 뛰어난 성능을 발휘한다.