[논문 리뷰] Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning

Kunkun Pang, Mingzhi Dong외 2명|arXiv (Cornell University)|2018. 06. 12.

Machine Learning and Algorithms참고 문헌 11인용 수 57

한 줄 요약

이 논문은 활성 학습을 메타 학습 문제로 다루고 데이터셋 임베딩, 메타-네트워크가 가이드하는 DRL 정책을 학습하여 라벨링되지 않은 점들을 선택하고, 교차 데이터셋 일반화와 기본 학습자에 대한 무관성을 목표로 한다.

ABSTRACT

Active learning (AL) aims to enable training high performance classifiers with low annotation cost by predicting which subset of unlabelled instances would be most beneficial to label. The importance of AL has motivated extensive research, proposing a wide variety of manually designed AL algorithms with diverse theoretical and intuitive motivations. In contrast to this body of research, we propose to treat active learning algorithm design as a meta-learning problem and learn the best criterion from data. We model an active learning algorithm as a deep neural network that inputs the base learner state and the unlabelled point set and predicts the best point to annotate next. Training this active query policy network with reinforcement learning, produces the best non-myopic policy for a given dataset. The key challenge in achieving a general solution to AL then becomes that of learner generalisation, particularly across heterogeneous datasets. We propose a multi-task dataset-embedding approach that allows dataset-agnostic active learners to be trained. Our evaluation shows that AL algorithms trained in this way can directly generalise across diverse problems.

연구 동기 및 목표

• 메타학습을 통해 활성 학습 기준을 개발하는 것을 동기로 삼는다.
• 데이터셋 임베딩, 메타-네트워크 보강 DRL 프레임워크를 제안하여 전이 가능한 AL 정책을 생성한다.
• 비지도 도메인 적응으로 다양한 출처 데이터셋에서 학습하여 교차 데이터셋 일반화를 달성한다.
• 학습된 정책이 데이터셋 간 일반화 가능하고 기본 분류기와 무관하게 작동함을 보여준다.

제안 방법

• AL 기준을 unlabeled 인스턴스를 선택하는 정책 π(a|s)으로 신경망으로 모델링한다.
• 엔코더 가중치 W_e가 데이터셋 상태 (L,U,f)에서 메타네트워크 Ψ에 의해 생성되는 정책 네트워크를 사용한다.
• 대표적이고 판별적인 히스토그램을 통해 데이터셋 임베딩을 포함시켜 데이터셋 조건부 가중치를 생성한다.
• 정책과 메타네트워크를 REINFORCE로 공동 학습하여 최종 테스트 정확도를 최대화하고 보조 재구성 및 엔트로피 정규화를 사용한다.
• 기본 학습자는 구성 가능한 구성 요소로 유지되어(기본 학습자 무관성) 다양한 분류기에 적용 가능하다.
• 여러 출처 데이터셋에 대해 멀티태스크 학습을 수행하여 데이터셋-무관 정책을 학습한다.

실험 결과

연구 질문

• RQ1 DRL 기반 AL 정책이 서로 다른 특징 공간과 통계치를 가진 데이터셋 간에 일반화할 수 있는가?
• RQ2 데이터셋 조건부 정책 가중치를 생성하는 메타네트워크가 교차 데이터셋 이전 가능성을 가능하게 하는가?
• RQ3 다양한 데이터셋에서의 멀티태스크 학습이 보류된 데이터셋으로의 일반화에 어떤 영향을 미치는가?
• RQ4 학습된 정책이 기본 분류기에 무관한가?
• RQ5 보조 손실(재구성, 엔트로피)이 정책 학습에 미치는 영향은?

주요 결과

• 메타 학습된 AL 정책(MLP-GAL)이 교차 데이터셋 평가에서 여러 베이스라인을 능가한다.
• 교차 작업 일반화는 MLP-GAL (Te)가 보류된 데이터셋에서 SingleRL 및 다른 방법보다 평균 성능이 더 높게 달성한다.
• 다양한 데이터셋일수록 unseen 데이터셋으로의 일반화가 향상되지만, 도메인이 많아질수록 데이터셋별 학습 성능은 감소할 수 있다.
• 이 접근법은 기본 학습자 무관하며 데이터셋 임베딩을 통해 다양한 데이터셋에 적용 가능하다.
• QUIRE 같은 복잡한 방법은 일부 데이터셋에서 잘 작동하지만 다른 데이터셋에서 성능이 떨어질 수 있어 AL의 일반화 문제를 강조한다.
• 메타 네트워크 기반의 데이터셋 임베딩 접근은 다양한 AL 작업 간의 견고한 전달성을 제공한다.