[논문 리뷰] Making Your First Choice: To Address Cold Start Problem in Vision Active Learning

Liangyu Chen, Yutong Bai외 5명|arXiv (Cornell University)|2022. 10. 05.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 시각적 활성 학습에서의 냉시작 문제를 해결하기 위해, 레이블 다양성을 보장하고 대표적인(대조하기 어려운) 샘플을 선택하는 대비 학습 기반의 초기 질의 전략을 제안한다. K-평균 군집화로부터 유도된 가짜 레이블과 대비 학습을 통한 인스턴스 식별을 활용함으로써, 이 방법은 초기 단계 성능에서 랜덤 선택 및 기존의 활성 학습 전략을 모두 능가하며, 이미지 분류에서의 초기 데이터 선택을 위한 강력한 베이스라인을 수립한다.

ABSTRACT

Active learning promises to improve annotation efficiency by iteratively selecting the most important data to be annotated first. However, we uncover a striking contradiction to this promise: active learning fails to select data as efficiently as random selection at the first few choices. We identify this as the cold start problem in vision active learning, caused by a biased and outlier initial query. This paper seeks to address the cold start problem by exploiting the three advantages of contrastive learning: (1) no annotation is required; (2) label diversity is ensured by pseudo-labels to mitigate bias; (3) typical data is determined by contrastive features to reduce outliers. Experiments are conducted on CIFAR-10-LT and three medical imaging datasets (i.e. Colon Pathology, Abdominal CT, and Blood Cell Microscope). Our initial query not only significantly outperforms existing active querying strategies but also surpasses random selection by a large margin. We foresee our solution to the cold start problem as a simple yet strong baseline to choose the initial query for vision active learning. Code is available: https://github.com/c-liangyu/CSVAL

연구 동기 및 목표

• 시각적 활성 학습에서 초기 활성 질의가 랜덤 선택보다 성능이 열 劣하는 냉시작 문제를 특정하고 해결하는 것.
• 불량한 초기 질의 선택의 근본 원인을 조사하는 것, 특히 다수 클래스에 대한 선택 편향과 외곽치 탐지에 대해 미리 학습되지 않은 모델에 의존하는 것.
• 레이블이 전혀 필요 없고 레이블 다양성을 보장하며 첫 번째 질의를 위한 일반적인(대조하기 어려운) 데이터를 선택하는 실용적인 방법을 개발하는 것.
• 후속 활성 학습 라운드의 성능을 크게 향상시키는 단순하면서도 효과적인 초기 질의 선택의 기초 베이스라인을 수립하는 것.

제안 방법

• 레이블이 없는 데이터에 대해 대비 학습(MoCo v2)을 적용하여 annotation이 전혀 필요 없는 인스턴스 수준의 표현을 학습한다.
• 대비 특징에 대해 K-평균 군집화를 적용하여 가짜 레이블을 생성함으로써, 초기 질의에서 레이블 다양성을 확보한다.
• 샘플을 그 자체의 증강된 뷰들로부터 구분하는 데 얼마나 어려운지 측정함으로써 '대조하기 어려운' 샘플을 일반적인 데이터로 식별한다. 이는 외곽치 선택을 줄이는 데 기여한다.
• 가짜 레이블의 다양성과 대조하기 어려운 기준을 조합하여 첫 번째 활성 학습 라운드를 위한 하이브리드 질의 선택 지표를 구성한다.
• 후행 평가를 위해 데이터셋 맵(Dataset Maps)을 활용하여, 레이블 다양성과 일반성의 향상이 초기 질의 품질 향상과 관련이 있음을 검증한다.
• 두 단계 전략을 사용한다: 첫 번째로, 특징을 군집화하여 레이블 다양성을 강제한다. 두 번째로, 높은 대비 어려움(즉, 대조하기 어려운) 샘플을 선택하여 일반성 보장을 확보한다.

실험 결과

연구 질문

• RQ1 왜 시각적 활성 학습에서 초기 질의 단계에서 활성 선택이 랜덤 샘플링보다 성능이 열 劣하는가?
• RQ2 초기 질의 단계에서 진정한 레이블이 없을 때 어떻게 레이블 다양성을 확보할 수 있는가?
• RQ3 사전 학습된 모델 없이도 대비 학습을 사용하여 일반적인(외곽치가 아닌) 데이터를 식별할 수 있는가?
• RQ4 레이블 다양성과 대조하기 어려운 샘플을 모두 기반으로 한 질의 전략이 초기 활성 학습 성능을 상당히 향상시키는가?
• RQ5 이 방법은 다양한 시각 데이터셋에서 초기 질의 선택을 위한 강력하고 일반화 가능한 기초 베이스라인으로 기능할 수 있는가?

주요 결과

• 제안된 방법인 '대조하기 어려운' 데이터 선택은 CIFAR-10-LT와 세 가지 의료 영상 데이터셋에서 초기 질의 단계에서 랜덤 선택 및 모든 기존 활성 학습 전략(예: 엔트로피, 마진, BALD, 코어셋)을 일관되게 능가한다.
• OrganAMNIST, BloodMNIST, PathMNIST에서, 이 방법은 모든 활성 학습 라운드에서 더 높은 AUC 스코어를 기록했으며, 초기 질의가 최종 성능과 강한 정적 상관관계(r = 0.92)를 보였다.
• 제안된 방법을 사용할 경우, 20개의 레이블이 부여된 이미지에서의 AUC와 50개의 레이블이 부여된 이미지에서의 AUC 간 피어슨 상관계수는 여전히 높게 유지되며(r = 0.92), 이는 초기 질의가 후속 성능을 강력하게 예측함을 시사한다.
• 사전 학습된 MoCo v2 모델을 사용할 경우에도 초기 성능과 최종 성능 간 상관계수가 높게 유지됨(r = 0.92)하여, 모델 초기화에 대해 강건함을 확인한다.
• 선택 편향이 감소함: 기존의 활성 학습 전략과 달리, 이 방법은 소수 클래스 샘플을 초기 질의에 성공적으로 포함시키며, 선택된 데이터의 클래스 분포가 균형 잡혀 있음을 보여준다.
• 이 방법은 자연 영상과 의료 영상 데이터셋 모두에서 효과적이며, 특정 도메인을 초월한 일반화 능력을 입증한다.