[論文レビュー] Learning how to Active Learn: A Deep Reinforcement Learning Approach

Meng Fang, Yuan Li+1 more|arXiv (Cornell University)|Aug 8, 2017

Machine Learning and Algorithms参考文献 26被引用数 46

ひとこと要約

本稿では、深層強化学習を用いて、アクティブラーニングにおける動的データ選択ポリシーを学習するPAL（Policy-based Active Learning）を提案する。この手法により、言語間でポリシーを転移可能となり、言語間 named entity recognition タスクにおいて、不確実性サンプリングなどのヒューリスティック手法を上回り、最大90%のコスト削減を達成する。冷スタート設定下でも同様の効果を示す。

ABSTRACT

Active learning aims to select a small subset of data for annotation such that a classifier learned on the data is highly accurate. This is usually done using heuristic selection methods, however the effectiveness of such methods is limited and moreover, the performance of heuristics varies between datasets. To address these shortcomings, we introduce a novel formulation by reframing the active learning as a reinforcement learning problem and explicitly learning a data selection policy, where the policy takes the role of the active learning heuristic. Importantly, our method allows the selection policy learned using simulation on one language to be transferred to other languages. We demonstrate our method using cross-lingual named entity recognition, observing uniform improvements over traditional active learning.

研究の動機と目的

• データセットや言語によって性能が不安定になるヒューリスティックベースのアクティブラーニング手法の限界を解消すること。
• 固定されたヒューリスティックに依存せず、経験から学習する動的でデータ駆動型のアクティブラーニング戦略を開発すること。
• 高リソース言語（例：英語）から低リソース言語へアクティブラーニングポリシーを転移可能とし、ターゲット言語における大規模なラベル付きデータへの依存を減らすこと。
• 初期モデルが弱く、評価データが入手できない低リソースおよび冷スタート設定での性能向上を図ること。

提案手法

• アクティブラーニングを強化学習問題として定式化し、ストリーミング環境下で各データインスタンスのラベリングを決定するためのポリシーを学習するエージェントを設計する。
• 観測として文の内容、モデルの予測、予測の信頼度を含む、深層Qネットワーク（DQN）を用いてラベリング意思決定ポリシーを学習する。
• シミュレーテッドデータを用いて高リソース言語（例：英語）でポリシーを訓練し、多言語埋め込みを用いて低リソースターゲット言語へ転移する。
• 多言語埋め込みを用いて入力表現を言語間でアライメントさせ、観測と行動の整合性を保証することで、ポリシー転移を可能にする。
• 2つのバリエーションを実装する：PAL_b（1つのソース言語から1つのターゲット言語への二国語ポリシー転移）とPAL_m（複数のソース言語で訓練された多言語ポリシー）。
• 冷スタート設定では、アクティブラーニング中にモデルやポリシーの更新を行わない静的ポリシー（PAL_c）を導入し、耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、従来のヒューリスティック手法よりも効果的で適応的なデータ選択ポリシーを学習できるか？
• RQ2 1つの言語で訓練したアクティブラーニングポリシーが、低リソースターゲット言語へどの程度成功裏に転移できるか？
• RQ3 低リソースおよび冷スタート設定下で、学習済みポリシーの性能は不確実性サンプリングやランダムサンプリングと比べてどの程度優れているか？
• RQ4 複数のソース言語でポリシーを訓練（多言語訓練）することで、単一言語での訓練よりも一般化性能や性能が向上するか？
• RQ5 アクティブラーニングプロセス中にフィードバックやモデルの更新が一切ない状況でも、学習済みポリシーは高い性能を達成できるか？

主な発見

• PALは、ドイツ語、オランダ語、スペイン語の全ターゲット言語で、ランダムサンプリングおよび不確実性サンプリングを上回り、すべての設定で最高のF1スコアを達成した。
• モデル更新なしの冷スタート設定下で、PAL_cはドイツ語で70.7%、オランダ語で69.1%、スペイン語で63.8%のF1を達成し、不確実性サンプリング（54.2%、50.1%、45.1%）およびランダムサンプリング（44.6%、45.2%、40.7%）を顕著に上回った。
• 多言語ポリシー（PAL_m）が全体で最高の性能を示し、ドイツ語で62.7%、オランダ語で56.3%、スペイン語で56.0%のF1スコアを記録し、PAL_bおよびベースラインを上回った。
• PALは、ラベル付けコストをランダムサンプリングベースラインの10%まで削減し、ラベル付け作業の労力に90%の削減を実現しながら、最先端の性能を達成した。
• コンテンツ情報の活用と初期段階でのポリシー学習により、初期モデルが poorly trained であっても、PALは強い初期意思決定が可能である。一方、不確実性サンプリングは初期段階で性能が劣る。
• 結果から、高リソース言語で事前学習したポリシーを低リソース言語へ転移する戦略が、特に適応用の評価データが入手できない状況下でも極めて有効であることが示された。