[논문 리뷰] Learning Algorithms for Active Learning

Philip Bachman, Alessandro Sordoni외 1명|arXiv (Cornell University)|2017. 07. 31.

Machine Learning and Algorithms참고 문헌 38인용 수 53

한 줄 요약

메타 학습 모델이 엔드투엔드로 활성 학습 전략, 데이터 표현, 및 예측 구성자를 관련 태스크들 간에 학습하는 것을 시연하며, Omniglot 원샷 분류와 MovieLens 콜드스타트 추천에서 보여줍니다.

ABSTRACT

We introduce a model that learns active learning algorithms via metalearning. For a distribution of related tasks, our model jointly learns: a data representation, an item selection heuristic, and a method for constructing prediction functions from labeled training sets. Our model uses the item selection heuristic to gather labeled training sets from which to construct prediction functions. Using the Omniglot and MovieLens datasets, we test our model in synthetic and practical settings.

연구 동기 및 목표

• 관련 태스크에서 활성 학습 정책을 학습하여 라벨링 비용 감소를 유도한다.
• 데이터 표현, 선택 전략, 그리고 예측 구성을 공동으로 학습하는 엔드투엔드 모델을 제안한다.
• Matching Networks를 사전 라벨이 없는 설정으로 확장하고 역전파와 강화 학습으로 최적화한다.
• Omniglot 원샷 작업과 MovieLens 콜드스타트 추천에서 이 접근법을 시연한다.

제안 방법

• 활성 학습을 라벨이 달린 서포트 세트와 라벨되지 않은 풀을 가진 순차적 의사 결정 문제로 형상화한다.
• 학습된 아이템 선택 정책과 문맥 의존 인코딩으로 Matching Networks를 확장해 예측을 구성한다.
• 효율성을 위한 오라클 정책과 함께 역전파 및 정책 경사(GAE)의 조합을 사용해 아키텍처를 엔드투엔드로 훈련한다.
• 훈련을 이끄는 빠른(within-support) 및 느린(held-out 평가) 예측 모듈을 사용한다.
• 맥락 독립 및 맥락 의존 인코더, 컨트롤러 LSTM, 선택 모듈, 그리고 주의 기반 Matching Network 예측기를 포함한다.
• 예측 보상과 라벨링 비용의 균형을 맞추는 목적 함수의 근사를 통해 최적화한다.

실험 결과

연구 질문

• RQ1 관련 태스크 전 체에서 학습된 활성 학습 정책이 엔지니어링된 휴리스틱보다 우수한가?
• RQ2 엔드투엔드 메타 학습이 활성 학습을 위해 표현 학습, 선택 전략, 예측 구성의 공동 최적화를 어느 정도까지 가능하게 하나?
• RQ3 모델이 학습 중에 본 것보다 더 많은 클래스나 샷으로 일반화하는가(예: Omniglot 20-클래스)?
• RQ4 이 접근법이 실용적 환경인 콜드스타트 추천 시스템(MovieLens)에서 효과적인가?

주요 결과

5-클래스	10-클래스	1샷	2샷	3샷	1샷	2샷	3샷
Matching Net (random)	69.8% ±0.10	93.1% ±0.07	98.5% ±0.04	67.3% ±0.10	91.2% ±0.06	97.6% ±0.06
Matching Net (balanced)	97.9% ±0.07	98.9% ±0.07	99.2% ±0.06	96.5% ±0.04	98.3% ±0.03	98.7% ±0.05
Active MN	97.4% ±0.11	99.0% ±0.08	99.3% ±0.03	94.3% ±0.24	98.0% ±0.07	98.5% ±0.06
Min-Max-Cos	97.4% ±0.11	99.3% ±0.02	99.4% ±0.04	93.5% ±0.11	98.4% ±0.02	98.8% ±0.03

• Omniglot에서 활성 학습자는 낙관적 균형 기준에 접근하고 종종 이를 거의 따라잡으며, 어려운 설정(예: 1샷, 10클래스)에서 약간의 저하를 보인다.
• 활성 정책은 모든 시간에서의 성능이 좋고 학습 중인 문제보다 더 많은 클래스가 있는 문제로 일반화한다(예: 20-way 분류).
• 1샷 10-way에 대해 낙관적 기준 대비 2.2 % 포인트 감소를 관찰하며, 태스크가 더 어려워짐에 따라 도전이 커짐을 시사한다.
• MovieLens에서 학습된 정책은 기준선보다 RMSE에서 우월하며, 10개의 rating 이후 약 2.5%의 개선을 달성한다.
• 모델의 활성 학습 구성요소(선정 및 빠른/느린 예측)는 필수적이다; 중요한 기능(예: 주의 온도)을 제거하면 성능이 저하된다.
• 전반적으로 표현, 선택, 예측의 엔드투엔드 학습은 원샷 분류와 협업 필터링 모두에서 작업에 독립적인 휴리스틱보다 우수할 수 있다.