[論文レビュー] Automated Curriculum Learning for Neural Networks

Alex Graves, Marc G. Bellemare+3 more|arXiv (Cornell University)|Apr 10, 2017

Machine Learning and Algorithms参考文献 27被引用数 39

ひとこと要約

本稿では、リアルタイムの学習進捗信号に基づいて動的に学習タスクを選択する非定常的マルチアームバンディットを用いた自動カリキュラム学習手法を提案する。予測ゲインや複雑さゲインを最大化するタスクに焦点を当てることで、LSTMの学習を著しく加速し、一部のケースでは学習時間を50%まで短縮する。

ABSTRACT

We introduce a method for automatically selecting the path, or syllabus, that a neural network follows through a curriculum so as to maximise learning efficiency. A measure of the amount that the network learns from each data sample is provided as a reward signal to a nonstationary multi-armed bandit algorithm, which then determines a stochastic syllabus. We consider a range of signals derived from two distinct indicators of learning progress: rate of increase in prediction accuracy, and rate of increase in network complexity. Experimental results for LSTM networks on three curricula demonstrate that our approach can significantly accelerate learning, in some cases halving the time required to attain a satisfactory performance level.

研究の動機と目的

• ニューラルネットワーク学習における手作業で設計されたカリキュラムの非効率性とハイパーパrameterへの感受性を解消すること。
• タスク選択を確率的方策最適化問題として扱い、自動的に学習カリキュラムを生成すること。
• 内因的な進捗信号を報酬として用いることで、適応的タスク選択による学習効率の向上を図ること。
• 自動生成カリキュラムが暗黙のタスク順序を発見し、収束をより速く可能にするかを評価すること。
• リアルタイムのカリキュラム適応において、複数の学習進捗信号（例：予測ゲイン、複雑さゲイン）を比較すること。

提案手法

• 各タスクを「アーム」とみなし、累積的学習進捗を最大化することを目的とする非定常的マルチアームバンディット問題としてカリキュラム学習を定式化する。
• 即時の進捗信号として、予測ゲインと、最小記述長の原則に基づいて導出された新規の複雑さゲインをバンディットの報酬として用いる。
• 文脈付きバンディットアルゴリズムを適用し、リアルタイムのパフォーマンスフィードバックに基づいてタスクを選択する確率的方策を学習する。
• 予測ゲインを、モデルの将来の出力を予測する能力の向上を測る指標として用い、複雑さゲインをネットワーク重みにエンコードされた有効情報量の増加として定義する。
• 学習の進行に応じてカリキュラムを動的に適応させ、ネットワークが進化する学習ダイナミクスに応じて焦点を変えることを可能にする。
• ミニバッチ上で継続的に進捗信号を評価しながら、標準的な最適化（例：RMSProp）を用いてモデルを訓練し、タスク選択をガイドする。

実験結果

リサーチクエスチョン

• RQ1 内因的な学習進捗信号を用いた自動カリキュラム生成は、均一サンプリングや手作業で設計されたカリキュラムスケジュールに比べ、学習速度と最終的性能において優れているか？
• RQ2 予測ゲイン、自己予測ゲイン、複雑さゲインのうち、どの学習進捗信号が動的カリキュラムにおける効率的なタスク選択を最も効果的に導くか？
• RQ3 タスクの難易度に関する事前知識がなくとも、この手法は暗黙のタスク順序（例：簡単な順から複雑な順へ）を発見できるか？
• RQ4 特にサンプル効率性と収束速度の観点から、自動カリキュラムの性能は均一サンプリングと比べてどうか？
• RQ5 変分推論または最尤推定の使用は、進捗信号がカリキュラム学習を導く有効性に影響を与えるか？

主な発見

• 合成シーケンスカリキュラムにおいて、予測ゲイン（PG）と勾配変分複雑さゲイン（GVCG）は、均一サンプリングと比較して学習時間を最大50%短縮し、著しく学習を加速した。
• 自動カリキュラムは、短く繰り返しの多いシーケンスから、長く繰り返しの少ないシーケンスへと自然な進行を発見し、タスク難易度の次元を分離した。
• bAbIデータセットでは、PGおよびGVCGカリキュラムが均一サンプリングよりも多くのタスク（誤差<5%）をより速く完了し、PGは最も一貫性のある改善を示した。
• 『時系列推論』や『経路探索』といった難易度の高いタスクにおいて、早期に焦点を当てて継続的に学習を実施することで、収束が著しく早まった。
• バンディットベースのカリキュラムは、焦点外のタスクの損失も低減させたことから、明示的なタスク訪問がなくても、効果的な転送と一般化が実現していることが示された。
• 均一サンプリングは予想に反って良好な性能を示し、進捗の速いタスクが自然に実質的なカリキュラムを形成していることが示唆されたが、自動化された手法は不要なサンプルを回避することで、より高い効率性を達成した。