[논문 리뷰] An Active Learning Approach for Reducing Annotation Cost in Skin Lesion Analysis

Xueying Shi, Qi Dou외 4명|arXiv (Cornell University)|2019. 09. 05.

Cutaneous Melanoma Detection and Management참고 문헌 13인용 수 7

한 줄 요약

이 논문은 피부 병변 분석을 위한 새로운 주체 학습 프레임워크를 제안하며, 샘플의 정보성과 대표성을 분리된 기준을 통해 동시에 최적화함으로써 애너테이션 비용을 절감한다. 또한 픽셀 공간에서의 동일 클래스 이미지 집합 기반 전략을 통해 모델 성능을 햖थ하며, ISIC 2017 과제에서 전체 학습 데이터의 40–50%만으로도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Automated skin lesion analysis is very crucial in clinical practice, as skin cancer is among the most common human malignancy. Existing approaches with deep learning have achieved remarkable performance on this challenging task, however, heavily relying on large-scale labelled datasets. In this paper, we present a novel active learning framework for cost-effective skin lesion analysis. The goal is to effectively select and utilize much fewer labelled samples, while the network can still achieve state-of-the-art performance. Our sample selection criteria complementarily consider both informativeness and representativeness, derived from decoupled aspects of measuring model certainty and covering sample diversity. To make wise use of the selected samples, we further design a simple yet effective strategy to aggregate intra-class images in pixel space, as a new form of data augmentation. We validate our proposed method on data of ISIC 2017 Skin Lesion Classification Challenge for two tasks. Using only up to 50% of samples, our approach can achieve state-of-the-art performances on both tasks, which are comparable or exceeding the accuracies with full-data training, and outperform other well-known active learning methods by a large margin.

연구 동기 및 목표

• 피부 병변 분석에서 대규모 애너테이션된 피부 내시경 영상의 높은 비용과 부족함 문제를 해결하기 위해.
• 비용 효율적인 주체 학습 프레임워크를 개발하여 광범위한 레이블이 부여된 데이터셋에 대한 의존도를 줄이기 위해.
• 다양한(대표성 있는) 및 불확실한(정보성 있는) 샘플을 동시에 선택하여 모델의 일반화 성능을 향상시키기 위해.
• 픽셀 공간에서의 새로운 동일 클래스 이미지 집합 전략을 통해 제한된 애너테이션 샘플에서 특징 학습을 향상시키기 위해.

제안 방법

• 정보성(예측 불확실성 기반)과 대표성(잠재 공간 내 특징 다양성 기반)을 분리하는 이중 기준 샘플 선택 전략을 제안한다.
• 모델 예측의 엔트로피를 사용하여 높은 불확실성을 가진 정보성 있는 샘플을 식별한다.
• 사전 훈련된 네트워크의 특징 공간에서 클러스터링을 적용하여 다양한 데이터 분포를 커버하는 대표성 있는 샘플을 식별한다.
• 학습된 가중치를 사용해 여러 동일 클래스 이미지를 조합하여 증강된 샘플을 생성하는 픽셀 공간 집합 전략을 도입한다.
• 샘플 선택 후 기존 데이터와 증강된 데이터를 모두 사용해 모델 미세조정을 수행하는 이중 단계 반복 프로세스를 활용한다.
• 선택된 샘플과 그 증강된 대응 샘플을 결합하여 감독 학습을 위한 압축적이면서도 풍부한 훈련 세트를 구성한다.

실험 결과

연구 질문

• RQ1 정보성과 대표성을 분리하는 분리된 접근 방식이 피부 병변 분류에서 주체 학습의 효율성을 향상시킬 수 있는가?
• RQ2 제한된 애너테이션 데이터로 훈련할 때 픽셀 공간에서의 동일 클래스 이미지 집합 기반 전략이 모델 성능에 어떤 영향을 미치는가?
• RQ3 주체 학습이 전체 데이터 훈련 성능을 유지하거나 초월하면서 애너테이션 비용을 얼마나 줄일 수 있는가?
• RQ4 제안된 집합 전략이 저데이터 환경에서 과적합을 완화하고 일반화 갭을 줄이는 데 기여하는가?

주요 결과

• Task 1에서 전체 훈련 데이터의 50%만을 사용해 86.0%의 정확도를 달성하였으며, 이는 전체 데이터 훈련의 86.3% 정확도에 매우 가까운 성능이다.
• Task 2에서는 레이블이 부여된 샘플의 40%만으로도 전체 데이터 훈련 성능을 초월하며, 높은 데이터 효율성을 입증한다.
• 모든 쿼리 비율에서 ISIC 2017 과제의 두 작업 모두에서 최신 기술 수준의 주체 학습 방법인 AIFT보다 일관되게 뛰어난 성능을 보였다.
• 제거 실험을 통해 동일한 이미지를 반복 복제하는 것보다 서로 다른 동일 클래스 이미지를 스티칭하는 것이 더 뛰어난 성능을 내며, 집합 전략의 효과성을 입증한다.
• 집합적 지도 학습을 사용할 경우 훈련 세트와 검증 세트 간의 일반화 갭이 크게 감소하여, 더 뛰어난 강건성과 과적합 감소를 나타낸다.
• 정보성과 대표성 샘플 간 최적의 균형은 γ = 0.7에서 달성되었으며, 테스트된 모든 γ 값에서 랜덤 선택보다 뛰어난 성능 유지를 보였다.