[논문 리뷰] Active One-shot Learning

Mark P. Woodward, Chelsea Finn|arXiv (Cornell University)|2017. 02. 21.

Machine Learning and Algorithms참고 문헌 18인용 수 66

한 줄 요약

이 논문은 이미지 시퀀스에서 라벨링을 할지 아니면 실제 라벨을 요청할지 결정하는 강화학습을 사용하는 활성 학습자를 학습시키며, 라벨링 비용을 제어할 수 있는 한-샷과 같은 성능을 달성한다.

ABSTRACT

Recent advances in one-shot learning have produced models that can learn from a handful of labeled examples, for passive classification and regression tasks. This paper combines reinforcement learning with one-shot learning, allowing the model to decide, during classification, which examples are worth labeling. We introduce a classification task in which a stream of images are presented and, on each time step, a decision must be made to either predict a label or pay to receive the correct label. We present a recurrent neural network based action-value function, and demonstrate its ability to learn how and when to request labels. Through the choice of reward function, the model can achieve a higher prediction accuracy than a similar model on a purely supervised task, or trade prediction accuracy for fewer label requests.

연구 동기 및 목표

• 학습에서 감독 비용을 줄이려는 동기를 모델이 라벨을 얻을 시점을 선택하도록 함.
• 원샷 학습과 활성 라벨링 결정을 결합하는 메타 학습 프레임워크를 개발.
• 강화 학습을 사용하여 라벨링 정책 역할을 하는 심층 순환 모델을 학습.

제안 방법

• Omniglot의 이미지 스트림을 가진 온라인 활성 학습 문제로 작업을 형식화.
• 행동 가치 함수 Q(o_t, a_t)를 LSTM 기반 네트워크로 표현.
• 라벨을 예측하거나 실제 라벨을 요청하는 액션이 하나의 원-핫 출력인 액션을 사용.
• 정확한 예측, 잘못된 예측, 라벨 요청에 대한 보상을 정의하여 정책을 형성.
• 별도의 대상 네트워크를 사용하지 않고 누적 보상을 극대화하기 위해 강화 학습으로 학습.
• 정확도와 라벨링 비용 간의 트레이드오드를 분석하고 감독 학습 베이스라인과 비교.

실험 결과

연구 질문

• RQ1 온라인 한샷 학습 시나리오에서 깊은 순환 모델이 언제 라벨을 요청할지 학습할 수 있는가?
• RQ2 강화 학습이 정확도와 라벨링 비용 사이의 합리적인 불확실성 인식 라벨링 결정을 가능하게 하는가?
• RQ3 보상 설정이 예측 정확도와 라벨 요청 수 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 모델이 고정 라벨 일정 외의 불확실성 추정의 행동을 보이는가?

주요 결과

모델	정확도 (%)	요청 수 (%)
Supervised	91.0	100.0
RL	75.9	7.2
RL Prediction	81.8	7.2
RL Prediction (R_inc=-5)	86.4	31.8
RL Prediction (R_inc=-10)	89.3	45.6
RL Prediction (R_inc=-20)	92.8	60.6

• 모델은 클래스의 초기 인스턴스에 대해 더 많은 라벨을 요청하고 나중의 인스턴스에는 적게 요청하도록 학습하여 시간이 지날수록 더 적은 라벨로 더 높은 정확도를 달성한다.
• 적절한 보상으로 RL은 순수한 감독 학습 베이스라인보다 더 높은 예측 정확도를 달성하면서도 훨씬 적은 라벨을 사용한다(예: RL의 요청이 7.2%인 반면 감독은 100%).
• 모델은 불확실성 인식 행동을 보여주며 새로운 클래스가 제시되거나 분포 이동이 있을 때 라벨 요청을 조정한다.
• 잘못된 예측에 대한 페널티(R_inc)를 바꾸면 방법이 정확도와 라벨링 비용 사이를 트레이드오프하여 다양한 성능 스펙트럼을 만든다.
• RL 기반 방법은 같은 아키텍처에서 Omniglot에서 감독 학습보다 라벨 요청 액션을 활용해 성능을 뛰어넘을 수 있다.
• 테스트 시나리오에서 클래스 전환과 시퀀스 길이에 민감하게 반응하는 것을 보여 주어 적응형 라벨링 전략을 시사한다.