[논문 리뷰] Low Budget Active Learning via Wasserstein Distance: An Integer Programming Approach

Rafid Mahmood, Sanja Fidler외 1명|arXiv (Cornell University)|2021. 06. 05.

Machine Learning and Algorithms인용 수 8

한 줄 요약

이 논문은 저예산 활성 학습을 위한 새로운 정수 프로그래밍 접근법을 제안하며, 라벨되지 않은 데이터 풀과 선택된 코어 세트 사이의 이산 워셔스타인 거리 최소화를 통해 표현력을 향상시킵니다. 비지도 특징 학습과 맞춤형 일반화 벤더 분해 알고리즘을 활용함으로써, 전역 최적의 샘플 선택을 달성하고 히وري스틱 기반 기준보다 뛰어난 성능을 보입니다. 특히 여러 비전 데이터셋에서 1% 미만의 라벨링 예산 조건에서 두각을 나타냅니다.

ABSTRACT

Active learning is the process of training a model with limited labeled data by selecting a core subset of an unlabeled data pool to label. The large scale of data sets used in deep learning forces most sample selection strategies to employ efficient heuristics. This paper introduces an integer optimization problem for selecting a core set that minimizes the discrete Wasserstein distance from the unlabeled pool. We demonstrate that this problem can be tractably solved with a Generalized Benders Decomposition algorithm. Our strategy uses high-quality latent features that can be obtained by unsupervised learning on the unlabeled pool. Numerical results on several data sets show that our optimization approach is competitive with baselines and particularly outperforms them in the low budget regime where less than one percent of the data set is labeled.

연구 동기 및 목표

• 딥러닝에서 높은 라벨링 비용 문제를 해결하기 위해 최소한의 인간 주석으로 효율적인 데이터 선택을 가능하게 합니다.
• 저예산 환경에서 다양성과 커버리지 보장을 보장하지 못하는 히وري스틱 기반 활성 학습 방법의 한계를 극복합니다.
• 워셔스타인 거리를 사용하여 라벨된 데이터와 라벨되지 않은 데이터 간의 분포 차이를 최소화함으로써 전역 최적의 샘플 선택 프레임워크를 개발합니다.
• 일반화 벤더 분해를 활용해 대규모 활성 학습의 효율적 최적화를 가능하게 하여 해석 가능한 최적화를 실현합니다.
• 특히 라벨링 예산이 매우 낮을 경우(예: 전체 데이터의 일부분 미만), 저예산 활성 학습 시나리오에서 뛰어난 성능을 입증합니다.

제안 방법

• 라벨되지 않은 데이터 풀의 경험적 분포와 선택된 코어 세트 사이의 이산 워셔스타인 거리를 최소화하는 정수 최적화 문제로 활성 학습 문제를 수식화합니다.
• 자기지도 표현 학습(예: SimCLR)을 통해 확보한 고품질의 잠재 특징을 활용하여 선택 과정을 위한 특징 공간의 품질을 향상시킵니다.
• 대규모 정수 프로그래밍 문제를 더 작은 해석 가능한 부분문제로 분해하기 위해 일반화 벤더 분해(GBD)를 적용하여 전역 수렴을 달성합니다.
• 수렴 속도 향상과 해 품질 향상을 위해 맞춤형 제약 조건과 유효한 부등식을 도입합니다.
• 이중 단계 프레임워크를 사용합니다: 먼저 라벨되지 않은 풀에서 특징을 사전 학습하고, 그 다음 워셔스타인 기반 최적화를 통해 라벨링에 가장 적합한 표본을 선택합니다.
• 특징 공간에서 다양한 거리 측정법(예: 코사인 거리 vs. 유클리드 거리)을 평가하여, 코사인 거리가 대비 학습 목표와 더 잘 일치함을 보여줍니다.

실험 결과

연구 질문

• RQ1 라벨되지 않은 데이터와 선택된 코어 세트 사이의 이산 워셔스타인 거리 최소화가 저예산 활성 학습에서 일반화 성능 향상에 기여할 수 있는가?
• RQ2 일반화 벤더 분해를 활용한 제안된 정수 프로그래밍 접근법은 히وري스틱 방법 대비 샘플 효율성과 모델 정확도 측면에서 어떻게 비교되는가?
• RQ3 잠재 특징 공간에서의 거리 측정법 선택(코사인 vs. 유클리드)이 최종 성능에 얼마나 큰 영향을 미치는가?
• RQ4 워셔스타인 최소화를 통한 전역 최적의 샘플 선택이 초기 라벨링 라운드에서 히وري스틱 기반 다양성 기반 방법(예: k-centers, k-medoids)을 능가할 수 있는가?
• RQ5 라벨링 예산이 매우 낮을 경우(예: 전체 데이터의 1% 미만), 이 방법이 클래스 커버리지와 표현 다양성을 얼마나 잘 유지하는가?

주요 결과

• 제안된 방법은 저예산 환경에서 최신 기준 성능을 달성하며, 특히 라벨링 예산이 전체 데이터의 1% 이하일 경우 k-centers, k-medoids, 무작위 선택보다 큰 격차로 뛰어난 성능을 보입니다.
• CIFAR-10에서 잠재 공간의 코사인 거리를 사용한 방법은 40,000장의 이미지 중 100장(0.25%)을 라벨링한 조건에서 85.6%의 top-1 정확도를 기록했으며, k-centers(82.1%)와 무작위 선택(78.3%)을 크게 앞서나갔습니다.
• 이 방법은 더 빠르고 균형 잡힌 클래스 커버리지가 가능합니다: STL-10과 CIFAR-10에서 첫 두 라운드 내로 모든 클래스가 라벨링되었고, k-medoids는 모든 클래스를 커버하기 위해 세 번째 라운드가 필요했습니다.
• t-SNE 시각화 결과, 이 방법은 잠재 공간 전역에 걸쳐 균일하게 분포된 표본을 선택함을 보여주며, 기준 방법이 남긴 큰 갭을 피하고 있습니다.
• 특히 초기 라운드에서 기준 방법보다 더 일관되게 명확하고 방해 요소가 없는 이미지를 선택함으로써, 고품질의 표현 가능한 표본을 더 잘 선별함을 시사합니다.
• 특징 공간에서 코사인 거리를 사용할 경우, 유클리드 거리 대비 더 높은 예산 조건에서 더 나은 성능을 보였으며, 이는 SimCLR의 대비 학습 목표와의 일치성 때문입니다.