[논문 리뷰] GALAXY: Graph-based Active Learning at the Extreme

Jifan Zhang, Julian Katz-Samuels외 1명|arXiv (Cornell University)|2022. 02. 03.

Machine Learning and Algorithms인용 수 4

한 줄 요약

GALAXY는 불균형한 클래스 분포를 고려해 불확실성과 클래스 균형을 동시에 확보하는 그래프 기반 주도 학습 방법이다. 불확실성 점수를 이분법 기반 정렬을 통해 유의미한 클래스 다양성을 확보하며, 이로 인해 기존 최고 성능의 방법 대비 최대 30% 감소된 레이블 쿼리로 균형 잡힌 정확도를 확보한다. 이는 극심한 클래스 불균형을 가진 비전 벤치마크에서 입증되었다.

ABSTRACT

Active learning is a label-efficient approach to train highly effective models while interactively selecting only small subsets of unlabelled data for labelling and training. In "open world" settings, the classes of interest can make up a small fraction of the overall dataset -- most of the data may be viewed as an out-of-distribution or irrelevant class. This leads to extreme class-imbalance, and our theory and methods focus on this core issue. We propose a new strategy for active learning called GALAXY (Graph-based Active Learning At the eXtrEme), which blends ideas from graph-based active learning and deep learning. GALAXY automatically and adaptively selects more class-balanced examples for labeling than most other methods for active learning. Our theory shows that GALAXY performs a refined form of uncertainty sampling that gathers a much more class-balanced dataset than vanilla uncertainty sampling. Experimentally, we demonstrate GALAXY's superiority over existing state-of-art deep active learning algorithms in unbalanced vision classification settings generated from popular datasets.

연구 동기 및 목표

• 소수 클래스가 희귀하고 표준 방법이 다수 클래스를 우선시하는 극심한 클래스 불균형 문제를 해결한다.
• 클래스 분포에 대한 사전 지식 없이도 클래스 균형을 유지하면서도 확장성 있고 효율적인 주도 학습 알고리즘을 개발한다.
• 전체 데이터셋이 심하게 기울어져 있어도 불확실성과 다양한 클래스의 대표성을 동시에 확보한 예제를 선택함을 보장한다.
• GALAXY가 표준 불확실성 샘플링보다 더 우수한 클래스 균형을 달성함을 이론적으로 입증한다.

제안 방법

• GALAXY는 소프트맥스 불확실성 점수를 기반으로 미분류 예제를 정렬하고, 레이블이 다른 연속된 쌍을 이분법적 절차로 식별함으로써 레이블 다양성을 촉진한다.
• 딥 페처에서 그래프를 구축하고 모델 예측을 기반으로 불확실성은 높지만 클래스 다양성이 확보된 예제를 선택한다.
• 모델 재학습 후 동적으로 그래프를 재구성하여 업데이트된 예측에 적응하고 시간이 지남에 따라 선택 품질을 향상시킨다.
• 불확실성 샘플링과 그래프 기반 다양성의 통합을 통해 다수 클래스의 경계 근처에 위치한 불확실한 점에 집중한다.
• 불확실성과 레이블 다양성을 균형 잡는 배치 선택 전략을 사용하여 동일한 클래스에서의 중복 쿼리를 방지한다.
• 표준 불확실성 샘플링 파이프라인에 최소한의 수정만으로도 쉽게 구현하고 배포할 수 있다.

실험 결과

연구 질문

• RQ1 레이어가 1:99 비율로 소수 클래스와 다수 클래스가 분포된 데이터셋에서 주도 학습 방법이 정보성 있는 예제를 효과적으로 선택할 수 있는가?
• RQ2 딥 주도 학습 환경에서 표준 불확실성 샘플링 대비 그래프 기반 접근이 선택된 배치의 클래스 균형을 향상시키는가?
• RQ3 GALAXY는 BADGE, BAIT, SIMILAR와 같은 기존의 혼합 불확실성-다양성 방법들과 비교해 레이블 효율성과 정확도 측면에서 어떻게 성능을 냈는가?
• RQ4 GALAXY의 동적 그래프 구축 방식이 정적 그래프 방법(S²)에 비해 선택 품질 향상에 얼마나 기여하는가?
• RQ5 GALAXY는 다양한 데이터셋과 다양한 배치 크기에서도 레이블 수요를 줄이며 높은 성능을 유지할 수 있는가?

주요 결과

• GALAXY는 두 번째로 우수한 방법 대비 최대 30% 감소된 레이블 쿼리를 통해 동일한 균형 잡힌 정확도를 달성했으며, 2개 클래스의 불균형 SVHN 및 3개 클래스의 CIFAR-100에서 성능을 입증했다.
• 2개 클래스의 불균형 SVHN에서 GALAXY는 1,700회의 쿼리로 92%의 균형 잡힌 정확도를 달성했고, 두 번째로 좋은 방법은 2,500회의 쿼리가 필요했다.
• 3개 클래스의 불균형 CIFAR-100에서 GALAXY는 1,600회의 쿼리로 66%의 균형 잡힌 정확도를 달성했으며, 두 번째로 좋은 방법은 2,200회의 쿼리가 필요했다.
• GALAXY는 기존 기준 방법(불확실성 샘플링 및 Most Likely Positive 포함)보다 훨씬 더 많은 내부 분포 레이블을 수집했으며, 이는 확실성보다 불확실성을 우선시하는 경향이 있는 기존 방법들과 대비된다.
• S²(1-최근접 이웃 및 신경망 모델 모두)보다 우수한 성능을 보이며, 업데이트된 모델 예측 기반 동적 그래프 구축의 중요성을 입증했다.
• 실험 결과 GALAXY는 8개의 테스트 설정 전반에서 뛰어난 성능을 유지했으며, 10개 클래스의 CIFAR-100에서 대규모 예산 환경(배치 크기 1,000)에서도 뛰어난 성능을 보였다.