[論文レビュー] Active One-shot Learning

Mark P. Woodward, Chelsea Finn|arXiv (Cornell University)|Feb 21, 2017

Machine Learning and Algorithms参考文献 18被引用数 66

ひとこと要約

この論文は、強化学習を用いて、画像の系列に対してラベルを付けるべきか、真のラベルを要求すべきかを決定するアクティブ学習者を学習し、ラベリングコストを制御可能な形でワンショットのようなパフォーマンスを実現します。

ABSTRACT

Recent advances in one-shot learning have produced models that can learn from a handful of labeled examples, for passive classification and regression tasks. This paper combines reinforcement learning with one-shot learning, allowing the model to decide, during classification, which examples are worth labeling. We introduce a classification task in which a stream of images are presented and, on each time step, a decision must be made to either predict a label or pay to receive the correct label. We present a recurrent neural network based action-value function, and demonstrate its ability to learn how and when to request labels. Through the choice of reward function, the model can achieve a higher prediction accuracy than a similar model on a purely supervised task, or trade prediction accuracy for fewer label requests.

研究の動機と目的

• ラベルを取得する時期をモデルに選択させることで、学習における監視コストの削減を動機づける。
• ワンショット学習とアクティブなラベリング決定を組み合わせるメタ学習フレームワークを開発する。
• 強化学習を用いてラベリング方針として機能する深いリカレントモデルを訓練する。

提案手法

• Omniglot からの画像の連続ストリームを伴うオンラインアクティブ学習問題としてタスクを定式化する。
• アクション価値関数 Q(o_t, a_t) を LSTM ベースのネットワークで表現する。
• アクションはラベルを予測するか真のラベルを要求するかのいずれかで、ワンホットのアクション出力を用いる。
• 正解予測、誤予測、ラベル要求に対して報酬を定義してポリシーを形成する。
• 別のターゲットネットワークを使わず、累積報酬を最大化するように強化学習で訓練する。
• 教師あり学習のベースラインと比較し、精度とラベリングコストのトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 深いリカレントモデルはオンラインのワンショット学習シナリオでいつラベルを要求すべきかを学習できるか？
• RQ2 強化学習は精度とラベリングコストのバランスを取るための合理的な不確実性を考慮したラベリング決定を可能にするか？
• RQ3 報酬設定は予測精度とラベル要求数のトレードオフにどう影響するか？
• RQ4 モデルは固定ラベルスケジュールを超えた不確実性推定を示す挙動を示すか？

主な発見

モデル	精度 (%)	要求 (%)
Supervised	91.0	100.0
RL	75.9	7.2
RL Prediction	81.8	7.2
RL Prediction (R_inc=-5)	86.4	31.8
RL Prediction (R_inc=-10)	89.3	45.6
RL Prediction (R_inc=-20)	92.8	60.6

• モデルはクラスの初期インスタンスにはより多くのラベルを要求し、後半には少なくして、時間とともに少ないラベルでより高い精度を達成する。
• 適切な報酬で、RLは純粋な教師ありベースラインより高い予測精度を達成しつつ、はるかに少ないラベルで済む（例：RL の 7.2% の要求 vs 教師ありでは 100%）。
• モデルは潜在的な新しいクラスや分布シフトがあるときにラベル要求を調整する、不確実性を意識した挙動を示す。
• 誤予測のペナルティ (R_inc) を変えることで、精度とラベリングコストのトレードオフを実現し、さまざまな性能を生み出す。
• RL-based methods can outperform supervised learning on Omniglot in the same architecture by leveraging label-request actions.
• テストシナリオでは、クラス切替えやシーケンス長に対する感度を示し、適応的なラベリング戦略を示唆している。