[論文レビュー] Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning

Kunkun Pang, Mingzhi Dong+2 more|arXiv (Cornell University)|Jun 12, 2018

Machine Learning and Algorithms参考文献 11被引用数 57

ひとこと要約

本論文はアクティブラーニングをメタ学習問題として扱い、データセット埋め込みとメタネットワーク誘導のDRLポリシーを訓練して未ラベル点を選択する。クロスデータセット一般化とベース学習器に依存しない性質を目指す。

ABSTRACT

Active learning (AL) aims to enable training high performance classifiers with low annotation cost by predicting which subset of unlabelled instances would be most beneficial to label. The importance of AL has motivated extensive research, proposing a wide variety of manually designed AL algorithms with diverse theoretical and intuitive motivations. In contrast to this body of research, we propose to treat active learning algorithm design as a meta-learning problem and learn the best criterion from data. We model an active learning algorithm as a deep neural network that inputs the base learner state and the unlabelled point set and predicts the best point to annotate next. Training this active query policy network with reinforcement learning, produces the best non-myopic policy for a given dataset. The key challenge in achieving a general solution to AL then becomes that of learner generalisation, particularly across heterogeneous datasets. We propose a multi-task dataset-embedding approach that allows dataset-agnostic active learners to be trained. Our evaluation shows that AL algorithms trained in this way can directly generalise across diverse problems.

研究の動機と目的

• 手工的なヒューリスティクスではなくメタ学習を通じたアクティブラーニング基準の開発を動機づける。
• 転用可能なALポリシーを生み出すためのデータセット埋め込み・メタネットワーク拡張DRLフレームワークを提案する。
• 教師なしドメイン適応を用いて多様なソースデータセット上で訓練することでクロスデータセット一般化を達成する。
• 学習したポリシーがデータセットを横断して一般化し、ベース分類器に対して不依存であることを示す。

提案手法

• AL基準を、未ラベルのインスタンスを選択するニューラルネットワークポリシー π(a|s)としてモデル化する。
• データセット状態 (L,U,f) からメタネットワーク Ψ によって生成されるエンコーダ重み W_e を持つポリシーネットワークを使用する。
• 代表的で識別的なヒストグラムを介してデータセット埋め込みを組み込み、データセット条件付きの重みを生成する。
• 最終的なテスト精度を最大化するようREINFORCEを用いてポリシーとメタネットワークを共同訓練し、補助的な再構成とエントロピー正則化を併用する。
• ベースラーナーを設定可能なコンポーネントとして維持し（ベースラーナー不依存）、さまざまな分類器への適用を可能にする。
• 複数のソースデータセット上でのマルチタスク訓練を用いてデータセット非依存のポリシーを学習する。

実験結果

リサーチクエスチョン

• RQ1 異なる特徴空間と統計を持つデータセット間でDRLベースのALポリシーは一般化できるか。
• RQ2 データセット条件付きポリシー重みを生成するメタネットワークはデータセットを跨る転移可能性を実現するか。
• RQ3 多様なデータセットでのマルチタスク訓練は、保持データセットへの一般化にどう影響するか。
• RQ4 学習したポリシーは基盤分類器に対して不依存か。
• RQ5 補助損失（再構成，エントロピー）がポリシー学習に与える影響は何か。

主な発見

• メタ学習済みALポリシー（MLP-GAL）はクロスデータセット評価でいくつかのベースラインを上回る。
• クロス・タスク一般化はMLP-GAL (Te) が Hold-out データセットで SingleRL および他の手法より平均性能が高いことを示す。
• データセットの多様性が増えるにつれて unseen データセットへの一般化が向上する一方で、データセットごとの訓練性能はドメインが増えると低下する可能性がある。
• このアプローチはベースラーナー不依存であり、データセット埋め込みを通じて異なるデータセットへ適応できる。
• QUIRE のような高度な手法は一部のデータセットで高パフォーマンスを示すが、他のデータセットでは不調になることがあり、ALの一般化の課題を浮き彫りにする。
• メタネットワークベースのデータセット埋め込みアプローチは、多様なALタスク間で堅牢な転送性を提供する。