[논문 리뷰] Active Learning Through a Covering Lens

Ofer Yehuda, Avihu Dekel외 2명|arXiv (Cornell University)|2022. 05. 23.

Machine Learning and Algorithms인용 수 12

한 줄 요약

이 논문은 의미적 임bedding 공간 내 고정 반경 구 안에서 확률 커버리지(coverage)를 최대화하는 방식으로 서브셋 선택 문제를 설정하는 새로운 주의적 학습 알고리즘인 ProbCover를 제안한다. 자기지도 학습 표현과 최대 확률 커버리지의 탐욕적 근사치를 활용함으로써, 낮은 예산 환경에서 이전 방법들을 크게 능가하며, 이미지 벤치마크에서 최신 기술 수준의 성능을 달성하고, 훨씬 적은 레이블로 준지도 학습 모델이 완전히 지도 학습된 성능에 도달할 수 있도록 한다.

ABSTRACT

Deep active learning aims to reduce the annotation cost for the training of deep models, which is notoriously data-hungry. Until recently, deep active learning methods were ineffectual in the low-budget regime, where only a small number of examples are annotated. The situation has been alleviated by recent advances in representation and self-supervised learning, which impart the geometry of the data representation with rich information about the points. Taking advantage of this progress, we study the problem of subset selection for annotation through a "covering" lens, proposing ProbCover - a new active learning algorithm for the low budget regime, which seeks to maximize Probability Coverage. We then describe a dual way to view the proposed formulation, from which one can derive strategies suitable for the high budget regime of active learning, related to existing methods like Coreset. We conclude with extensive experiments, evaluating ProbCover in the low-budget regime. We show that our principled active learning strategy improves the state-of-the-art in the low-budget regime in several image recognition benchmarks. This method is especially beneficial in the semi-supervised setting, allowing state-of-the-art semi-supervised methods to match the performance of fully supervised methods, while using much fewer labels nonetheless. Code is available at https://github.com/avihu111/TypiClust.

연구 동기 및 목표

• 매우 적은 수의 레이블 예제가 있는 경우 표준 방법이 실패하는 딥 주의적 학습의 '냉각 시작(cold start)' 문제를 해결한다.
• 단지 몇 개의 샘플만 레이블링 가능한 저예산 환경에서 효과적인 원칙적인 주의적 학습 전략을 개발한다.
• 1-NN 분류기의 일반화 오차 상한을 최적화하기 위해 서브셋 선택 문제를 최대 확률 커버리지로 공식화한다.
• 의미적 표현과 커버리지 기반 선택을 통해 ProbCover가 존재하는 방법들—특히 준지도 학습에서—을 능가함을 입증한다.
• 이론적 커버리지 원칙과 실용적 주의적 학습 사이의 격차를 메우며, 저예산에서 다양성과 불확실성만으로는 부족하다는 것을 보여준다.

제안 방법

• 주의적 학습 문제를 최대 확률 커버리지로 모델링: 반경 δ의 구를 중심으로 b개의 예제를 선택하여 커버리지 확률 질량을 최대화한다.
• 최적 해에 근접한 1−1/e 근사 보장을 갖는 탐욕 알고리즘을 사용하여 해를 근사한다.
• 거리가 의미적 유사성과 관련된 자기지도 학습 임bedding 공간에서 작동하여 데이터 분포의 의미 있는 커버리지를 가능하게 한다.
• 국소 밀도를 평가하고 대표성 있는 고밀도 영역을 향해 선택을 이끌기 위해 가우시안 커널 밀도 추정을 사용해 커버리지를 정의한다.
• 이중 제도에 맞게 공식을 적응: 저예산에선 ProbCover(커버리지 최대화), 고예산에선 Coreset(크기 최소화)로 연결한다.
• SimCLR 등의 모델에서 추출한 특징을 사용해 지도 학습 및 준지도 학습 설정에 모두 적용하고, CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet에서 평가한다.

실험 결과

연구 질문

• RQ1 저예산 주의적 학습 환경에서 커버리지 기반 공식화가 불확실성 및 다양성 샘플링보다 우월한가?
• RQ2 의미적 임bedding 공간 내에서 확률 커버리지 최대화가 1-NN 분류기의 일반화 오차 상한을 개선하는가?
• RQ3 다양한 예산 제도에서 ProbCover의 성능이 Coreset 및 기타 주의적 학습 기준선과 비교해 어떻게 되는가?
• RQ4 임bedding 공간의 품질이 ProbCover의 성능에 얼마나 큰 영향을 미치는가?
• RQ5 ProbCover는 얼마나 적은 레이블로도 준지도 학습 방법이 완전히 지도 학습 성능에 도달하도록 할 수 있는가?

주요 결과

• CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet에서 ProbCover는 저예산 환경에서 모든 기준선 주의적 학습 방법보다 뚜렷이 뛰어나며, 100개의 레이블 예제에서 랜덤 선택 대비 최대 15%의 정확도 향상을 보였다.
• 준지도 학습 설정에서는 ProbCover가 최신 기술 수준의 준지도 학습 모델이 완전히 지도 학습된 성능을 달성할 수 있도록 하였고, 레이블 수를 10%로 줄였다.
• 무작위 풀에서 시작해도 ProbCover의 우월성이 유지됨을 통해, 이는 초기 선택 편향 때문이 아니라 핵심 선택 전략 덕분임을 입증하였다.
• 원시 RGB 공간에 ProbCover를 적용할 경우 성능이 크게 떨어지며, 이는 표현 품질의 결정적 역할을 확인한다.
• δ와 예산 크기 간의 상호작용을 통해 예산이 증가할수록 더 작은 δ 값이 최적임을 확인하였고, 이는 적응적 반경 조정이 유익함을 시사한다.
• 고예산 제도에서는 Coreset가 ProbCover를 능가함을 통해, ProbCover가 저예산 시나리오에 특별히 설계되었음을 이론적이고 경험적으로 확인하였다.