[論文レビュー] Imitation Learning with Recurrent Neural Networks

Khanh Nguyen|arXiv (Cornell University)|Jul 18, 2016

Adversarial Robustness in Machine Learning参考文献 9被引用数 4

ひとこと要約

本稿では、学習による探索（L2S）と再帰的ニューラルネットワーク（RNN）を、L2SをRNNの学習手順として定式化することによって統合し、連続的な探索空間表現と頑健な方策の共同学習を可能にした。本稿では、スケジュールドサンプリングの訓練がオンラインDAggerに等価であることを示し、誤差の累積を軽減し、逐次予測タスクにおける一般化性能を向上させた。

ABSTRACT

We present a novel view that unifies two frameworks that aim to solve sequential prediction problems: learning to search (L2S) and recurrent neural networks (RNN). We point out equivalences between elements of the two frameworks. By complementing what is missing from one framework comparing to the other, we introduce a more advanced imitation learning framework that, on one hand, augments L2S s notion of search space and, on the other hand, enhances RNNs training procedure to be more robust to compounding errors arising from training on highly correlated examples.

研究の動機と目的

• 高相関な逐次データ上で学習されるRNNにおける誤差累積問題に対処するために、学習による探索（L2S）の原則を統合する。
• L2Sにおける静的で手作業で設計された特徴量の限界を克服し、探索空間の連続的かつ適応的な表現を学習する。
• 学習されたベクトル空間幾何学を介して、類似した既知の状態を用いて未知の状態を近似可能にする仕組みを提供することで、模倣学習の一般化性能を向上させる。
• 訓練中の隠れ状態の分布を、方策自身が誘導する分布と一致させることで、RNN学習の頑健性を向上させる。
• スケジュールドサンプリング訓練がオンラインDAggerに等価であることを示し、L2SとRNNのフレームワークを統合することで、RNN学習の新たな視点を提供する。

提案手法

• 各隠れ状態が探索空間内でとられた行動の経路を表すRNNダイナミクスを用いて、L2Sフレームワークを再定式化する。
• バックプロパゲーションを介して学習される連続的ベクトル表現としての探索状態を定義し、静的で手作業で設計された特徴量に置き換える。
• 各時刻で、真値ラベルと予測ラベルの両方から確率的に選択して隠れ状態を計算するハイブリッド訓練戦略を用いる。
• 時間の経過に従って真値ラベルを使用する確率を徐々に減少させ、モデルが自らの方策が誘導する状態分布上で訓練されるようにする。
• オンラインロールアウト中に収集した（隠れ状態、真値ラベル）ペアのデータセットをミニバッチバックプロパゲーションで用いてRNNを訓練する。
• エンドツーエンドのバックプロパゲーションにより、探索空間表現と方策を同時に最適化し、意思決定のための状態空間の形状をモデルが学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 L2Sにおける探索空間を、RNNフレームワーク内での連続的かつ学習可能な表現として再解釈できるか？
• RQ2 RNNにおけるスケジュールドサンプリング訓練は、L2SフレームワークにおけるオンラインDAggerとどのように関係するか？
• RQ3 共同で学習された連続的探索空間表現は、状態のスパarsityを軽減し、模倣学習における一般化性能を向上させられるか？
• RQ4 方策に基づく状態分布を用いたRNN訓練は、標準的な教師あり学習と比較して誤差累積を軽減できるか？
• RQ5 学習された状態空間における幾何的類似性は、類似した既知の状態を活用することで、未知の状態への一般化を可能にするか？

主な発見

• スケジュールドサンプリングに等価な本手法は、モデル自身の方策が生成する状態上で訓練されることで、RNNにおける誤差累積を軽減する。
• 探索空間表現と方策を共同で学習することで、意思決定を促進するように状態を配置できるようになる。
• 連続的で学習された表現は、状態の類似性を捉える点で、静的で手作業で設計された特徴量を上回り、未知状態への一般化性能が向上する。
• 誤差累積がトレーリング長に対して線形に増加するようになり、i.i.d.データに対する教師あり学習の理論的性能と一致する。
• L2SのRNN定式化により、探索空間の幾何的解釈が可能となり、コサイン類似度などのベクトル距離を用いた類似性測定が可能になる。
• 実験結果では、画像キャプション生成、文法解析、音声認識などの逐次出力タスクにおいて、標準的なRNN訓練と比較して性能が向上した。