[논문 리뷰] MedAL: Deep Active Learning Sampling Method for Medical Image Analysis

Asim Smailagic, Hae Young Noh외 7명|arXiv (Cornell University)|2018. 09. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 16

한 줄 요약

MedAL은 의료 영상 분석을 위한 딥 액티브 러닝 샘플링 방법을 제안하며, 학습된 특징 공간에서 훈련 예제들로부터의 평균 거리 기반으로 미라벨링된 이미지를 선택함으로써 모델 효율성을 향상시킨다. 이 방법은 단지 425개의 레이블된 이미지로 당뇨성 망막병증 탐지에서 80%의 정확도를 달성하였으며, 불확실성 샘플링 대비 32% 적고, 랜덤 샘플링 대비 40% 적은 레이블링 수를 요구한다.

ABSTRACT

Deep learning models have been successfully used in medical image analysis problems but they require a large amount of labeled images to obtain good performance.Deep learning models have been successfully used in medical image analysis problems but they require a large amount of labeled images to obtain good performance. However, such large labeled datasets are costly to acquire. Active learning techniques can be used to minimize the number of required training labels while maximizing the model's performance.In this work, we propose a novel sampling method that queries the unlabeled examples that maximize the average distance to all training set examples in a learned feature space. We then extend our sampling method to define a better initial training set, without the need for a trained model, by using ORB feature descriptors. We validate MedAL on 3 medical image datasets and show that our method is robust to different dataset properties. MedAL is also efficient, achieving 80% accuracy on the task of Diabetic Retinopathy detection using only 425 labeled images, corresponding to a 32% reduction in the number of required labeled examples compared to the standard uncertainty sampling technique, and a 40% reduction compared to random sampling.

연구 동기 및 목표

• 대규모 의료 영상 데이터셋의 레이블링 비용을 줄이기 위해 필요한 레이블 수를 최소화하는 것.
• 더 유의미한 샘플을 레이블링하기 위해 의료 영상 분석에서 액티브 러닝의 효율성을 향상시키는 것.
• 다양한 데이터셋 특성과 초기 모델 조건에 대해 강건한 샘플링 전략을 개발하는 것.
• 사전 훈련된 모델이 필요 없이 ORB 기반 기술을 활용해 초기 훈련 세트를 선택함으로써 효과적인 액티브 러닝을 가능하게 하는 것.

제안 방법

• 딥 특징 공간에서 모든 훈련 예제들로부터의 평균 거리가 가장 큰, 미라벨링된 이미지를 선택하는 샘플링 전략을 제안한다.
• 딥 신경망을 사용해 이미지의 특징을 추출함으로써 의미 있는 표현 공간에서 거리 계산을 가능하게 한다.
• 사전 훈련된 모델이 없는 상황에서도 ORB 특징 기반 기술을 활용해 이미지 유사도를 기반으로 한 초기 훈련 세트를 구성하는 데에 이 방법을 확장한다.
• 선택된 샘플들이 다양하고 기저 데이터 분포를 잘 대표하도록 보장하기 위해 메트릭 학습 접근법을 활용한다.
• 샘플링 전략을 액티브 러닝 루프에 통합하여 반복적으로 이미지를 선택하고 레이블링함으로써 모델 성능을 향상시킨다.
• 다양한 영상 모odal리티와 레이블링 요구사항을 고려해 세 가지 의료 영상 데이터셋에서 방법의 타당성을 평가한다.

실험 결과

연구 질문

• RQ1 학습된 특징 공간 내에서 거리 기반 샘플링 전략이 의료 영상 액티브 러닝에서 표준 불확실성 샘플링 및 랜덤 샘플링을 능가할 수 있는가?
• RQ2 MedAL은 높은 모델 정확도를 유지하면서 필요한 레이블된 이미지 수를 얼마나 줄일 수 있는가?
• RQ3 MedAL은 사전 훈련된 모델에 의존하지 않고 효과적인 초기 훈련 세트를 얼마나 잘 구성할 수 있는가?
• RQ4 MedAL은 데이터셋 크기, 클래스 분포, 영상 모달리티의 변화에 대해 얼마나 강건한가?
• RQ5 MedAL은 다양한 의료 영상 분석 작업과 데이터 분포 간에도 성능 향상을 유지하는가?

주요 결과

• MedAL은 단지 425개의 레이블된 이미지로 당뇨성 망막병증 탐지에서 80%의 정확도를 달성하여 레이블링 노력이 크게 줄어들었다.
• 이 방법은 불확실성 샘플링 대비 32% 적고, 랜덤 샘플링 대비 40% 적은 레이블된 예제 수를 요구함으로써 필요 레이블 수를 줄였다.
• MedAL은 세 가지 서로 다른 의료 영상 데이터셋에서 강건한 성능을 보이며, 다양한 영상 맥락으로의 일반화 능력을 입증했다.
• ORB 기반 초기화 방법은 사전 훈련된 모델이 없더라도 효과적인 액티브 러닝을 가능하게 하여 실용적 적용 가능성을 높였다.
• 거리 기반 샘플링 전략은 일관되게 다양하고 정보가 풍부한 샘플을 선택하여 모델 수렴과 정확도 향상에 기여했다.
• 제한된 레이블된 데이터 조건에서도 높은 성능을 유지하여, 의료 영상에서 흔한 저데이터 환경에서의 효율성을 입증했다.