[논문 리뷰] Active Learning on a Budget: Opposite Strategies Suit High and Low Budgets

Guy Hacohen, Avihu Dekel외 1명|arXiv (Cornell University)|2022. 02. 06.

Machine Learning and Algorithms인용 수 32

한 줄 요약

논문은 활성 학습에서 단계 전이 같은 동작을 보이며, 일반적(대표적) 샘플은 예산이 낮을 때 최적이고, 비대표적 샘플은 예산이 커질수록 더 큰 도움을 준다고 제시합니다. 저예산 AL을 위한 TypiClust를 도입하고, 특히 반지도 학습 설정에서 강한 이점을 시연합니다.

ABSTRACT

Investigating active learning, we focus on the relation between the number of labeled examples (budget size), and suitable querying strategies. Our theoretical analysis shows a behavior reminiscent of phase transition: typical examples are best queried when the budget is low, while unrepresentative examples are best queried when the budget is large. Combined evidence shows that a similar phenomenon occurs in common classification models. Accordingly, we propose TypiClust -- a deep active learning strategy suited for low budgets. In a comparative empirical investigation of supervised learning, using a variety of architectures and image datasets, TypiClust outperforms all other active learning strategies in the low-budget regime. Using TypiClust in the semi-supervised framework, performance gets an even more significant boost. In particular, state-of-the-art semi-supervised methods trained on CIFAR-10 with 10 labeled examples selected by TypiClust, reach 93.2% accuracy -- an improvement of 39.4% over random selection. Code is available at https://github.com/avihu111/TypiClust.

연구 동기 및 목표

• 예산 크기를 딥 모델의 활성 학습 질의 전략과 연결지어 연구 동기를 제시한다.
• 샘플링의 전형적(typical) 영역과 비전형적(atypical) 영역 간의 단계 전이와 같은 동작을 보이는 이론적 프레임워크를 개발한다.
• 저예산 활성 학습을 위한 TypiClust를 제안하고, 아키텍처와 데이터셋 전반에서 성능을 평가한다.
• TypiClust가 SSL 프레임워크와 결합될 때 반지도 학습 방법의 성능을 크게 향상시킨다는 것을 시연한다.

제안 방법

• 데이터를 두 지역의 혼합으로 모델링하고 각 지역에서 독립적으로 학습하는 학습기를 도입한다.
• 예산 변화에 따라(저예산 대 고예산) 어떤 지역을 과샘플링할지 결정하기 위한 오차 점수 기반 임계치를 도출한다.
• 선형 분류기가 변동하는 오차-점수 조건을 만족하는지 보이고, 신경망 모델에 대한 실험적 증거를 제시한다.
• TypiClust를 제안한다: 자기지도 표현과 밀도 기반의 전형성(typicality)으로 다양하고 대표적인 샘플을 선택하기 위한 Typical Clustering.
• fully supervised, self-supervised 임베딩, 및 semi-supervised 설정에서 CIFAR-10/100, TinyImageNet, ImageNet 부분집합에 대해 TypiClust를 일반 AL 베이스라인과 비교 평가한다.

실험 결과

연구 질문

• RQ1 활성 학습이 저예산 대 고예산에서 레짐 의존적 최적 질의 전략을 보이는가?
• RQ2 저예산 레짐에서 전형적이고 대표적인 샘플에 무게를 두는 전략이 불확실성 기반 방법보다 더 잘 수행될 수 있는가?
• RQ3 TypiClust가 다양한 데이터셋과 아키텍처에서 표준 AL 베이스라인보다 성능을 향상시키는가?
• RQ4 TypiClust가 라벨이 부족할 때 반지도 학습과 상호 작용하여 성능을 향상시키는 방식은 어떠한가?

주요 결과

• 이론적으로 AL 예산 임계치가 더 쉬운 영역(저예산)을 과샘플링할지, 더 어려운 영역(고예산)을 과샘플링할지 결정한다.
• TypiClust는 여러 데이터셋과 아키텍처에서 저예산 레짐에서 모든 베이스라인을 일관되게 능가한다.
• 반지도 설정에서 TypiClust는 무작위 라벨 선택에 비해 큰 성능 이득을 제공하며, 예를 들어 라벨이 매우 적은 CIFAR-10에서 상당한 향상을 보인다.
• 라벨 10개로 CIFAR-10에서 학습될 때 최첨단 반지도 학습 성능을 가능하게 하며, 정확도 93.2%를 달성한다(무작위 대비 39.4% 향상).
• 실험 결과 많은 기존 AL 전략이 저예산 레짐에서 저조하거나 성능에 해를 끼치는 반면, TypiClust는 견고함을 유지한다.
• 이 접근법은 전형성(defining typicality)과 다양성을 보장하기 위한 클러스터링을 통해 자기지도 표현을 활용한다.