[논문 리뷰] Learning how to Active Learn: A Deep Reinforcement Learning Approach

Meng Fang, Yuan Li외 1명|arXiv (Cornell University)|2017. 08. 08.

Machine Learning and Algorithms참고 문헌 26인용 수 46

한 줄 요약

이 논문은 심층 강화학습을 활용해 동적 데이터 선택 정책을 학습하는 PAL(Policy-based Active Learning)을 제안한다. 이는 다국어 간 전이를 가능하게 하며, 활동 학습을 마코프 결정 과정으로 설정하고 딥 Q네트워크를 사용함으로써, 기존 히우리스틱 방법(예: 불확실성 샘플링)을 능가한다. 이는 다국어 명명된 실체 인식 작업에서 최대 90%의 비용 절감을 이끌어내며, 냉시작 설정에서도 성능을 발휘한다.

ABSTRACT

Active learning aims to select a small subset of data for annotation such that a classifier learned on the data is highly accurate. This is usually done using heuristic selection methods, however the effectiveness of such methods is limited and moreover, the performance of heuristics varies between datasets. To address these shortcomings, we introduce a novel formulation by reframing the active learning as a reinforcement learning problem and explicitly learning a data selection policy, where the policy takes the role of the active learning heuristic. Importantly, our method allows the selection policy learned using simulation on one language to be transferred to other languages. We demonstrate our method using cross-lingual named entity recognition, observing uniform improvements over traditional active learning.

연구 동기 및 목표

• 다양한 데이터셋과 언어 간 성능이 일관되지 않은 히우리스틱 기반 활동 학습 방법의 한계를 해결하기 위해.
• 고정된 히우리스틱에 의존하지 않고 경험에서 학습하는 동적이고 데이터 기반의 활동 학습 전략을 개발하기 위해.
• 고자원 언어(예: 영어)에서 학습한 활동 학습 정책을 저자원 언어로 전이하여, 대상 언어에서 대량의 레이블 데이터에 대한 의존도를 줄이기 위해.
• 초기 모델이 약하고 평가 데이터가 가용하지 않은 저자원 및 냉시작 설정에서의 성능 향상을 위해.

제안 방법

• 스트리밍 환경에서 각 데이터 인스턴스의 레이블링 여부를 결정하는 정책을 학습하는 에이전트로서 활동 학습을 강화학습 문제로 공식화한다.
• 관측치로 문장 내용, 모델 예측, 예측 신뢰도를 포함한 관측치를 사용하여 딥 Q네트워크(DQN)를 활용해 레이블링 결정 정책을 학습한다.
• 모의 데이터를 사용해 고자원 언어(예: 영어)에서 정책을 훈련한 후, 다국어 단어 임베딩을 통해 저자원 대상 언어로 전이한다.
• 다국어 임베딩을 사용해 언어 간 입력 표현을 정렬함으로써 관측치와 동작의 호환성을 확보함으로써 정책 전이를 가능하게 한다.
• 두 가지 변형을 구현한다: PAL_b(한 개의 소스 언어에서 한 개의 대상 언어로의 이원화 정책 전이) 및 PAL_m(다수의 소스 언어에서 훈련된 다국어 정책).
• 모델 또는 정책 업데이트가 활동 학습 중 이루어지지 않는 냉시작 설정에서 정적 정책을 사용한다(PAL_c), 이는 정책의 강건성을 테스트하기 위함이다.

실험 결과

연구 질문

• RQ1 심층 강화학습 에이전트는 기존의 히우리스틱 방법보다 더 효과적이고 적응력 있는 데이터 선택 정책을 학습할 수 있는가?
• RQ2 한 언어에서 훈련된 활동 학습 정책이 저자원 대상 언어로 성공적으로 전이될 수 있는 정도는 어느 정도인가?
• RQ3 저자원 및 냉시작 설정에서 학습된 정책의 성능은 불확실성 샘플링 및 무작위 샘플링과 비교해 어떻게 되는가?
• RQ4 다양한 소스 언어에서 정책을 훈련하는 것(다국어 훈련)이 단일 소스 언어에서의 훈련보다 더 나은 일반화 및 성능을 이끌어내는가?
• RQ5 활동 학습 과정 중 피드백이나 모델 업데이트가 제공되지 않는 상황에서도 학습된 정책이 높은 성능을 달성할 수 있는가?

주요 결과

• PAL은 모든 대상 언어(독일어, 네덜란드어, 스페인어)에서 랜덤 샘플링 및 불확실성 샘플링을 모두 능가하며, 모든 설정에서 최고의 F1 스코어를 기록한다.
• 모델 업데이트가 없는 냉시작 설정에서 PAL_c는 독일어에서 70.7%, 네덜란드어에서 69.1%, 스페인어에서 63.8%의 F1 스코어를 기록했으며, 이는 불확실성 샘플링(54.2%, 50.1%, 45.1%) 및 랜덤 샘플링(44.6%, 45.2%, 40.7%)보다 뚜렷이 뛰어나다.
• 다국어 정책(PAL_m)이 가장 뛰어난 전체 성능을 기록했으며, 독일어, 네덜란드어, 스페인어에서 각각 62.7%, 56.3%, 56.0%의 F1 스코어를 기록했고, PAL_b 및 기준선을 모두 능가했다.
• PAL은 무작위 샘플링 기준 레이블링 비용을 단 10%로 줄여, 레이블링 노력의 90% 절감을 달성하면서도 최신 기술 수준의 성능을 확보했다.
• 콘텐츠 정보 사용 및 초기 단계의 정책 학습 덕분에, PAL은 잘못 훈련된 초기 모델이 존재하는 상황에서도 더 강력한 초도 결정을 내릴 수 있다. 반면, 불확실성 샘플링은 초기에 성능이 열등하다.
• 결과적으로, 고자원 언어에서 정책을 미리 훈련하고 저자원 언어로 전이하는 것이 매우 효과적임을 보여주었으며, 특히 적응을 위한 평가 데이터가 가용하지 않은 경우 더욱 그렇다.