[論文レビュー] Deeply AggreVaTeD: Differentiable Imitation Learning for Sequential Prediction

Wen Sun, Arun Venkatraman+3 more|arXiv (Cornell University)|Mar 2, 2017

Reinforcement Learning in Robotics参考文献 28被引用数 91

ひとこと要約

AggreVaTeD は、オラクル（cost-to-go）を活用して逐次予測と高次元制御のためのポリシーを学習する微分可能な模倣学習法であり、逐次強化学習に比べてより速く、しばしば優れた性能を発揮する。オラクルが最適でなくても効果を発揮する。

ABSTRACT

Researchers have demonstrated state-of-the-art performance in sequential decision making problems (e.g., robotics control, sequential prediction) with deep neural network models. One often has access to near-optimal oracles that achieve good performance on the task during training. We demonstrate that AggreVaTeD --- a policy gradient extension of the Imitation Learning (IL) approach of (Ross & Bagnell, 2014) --- can leverage such an oracle to achieve faster and better solutions with less training data than a less-informed Reinforcement Learning (RL) technique. Using both feedforward and recurrent neural network predictors, we present stochastic gradient procedures on a sequential prediction task, dependency-parsing from raw image data, as well as on various high dimensional robotics control problems. We also provide a comprehensive theoretical study of IL that demonstrates we can expect up to exponentially lower sample complexity for learning with AggreVaTeD than with RL algorithms, which backs our empirical findings. Our results and theory indicate that the proposed approach can achieve superior performance with respect to the oracle when the demonstrator is sub-optimal.

研究の動機と目的

• 学習中にほぼ最適な cost-to-go オラクルを活用することで、逐次決定問題におけるサンプル効率と性能の向上を促進する。
• 逐次予測タスクのために、模倣学習を複雑で高次元のモデル（例：深層ニューラルネット、LSTM）へ拡張する。
• 大規模な関数近似器へスケールするオンライン勾配更新と自然勾配更新を提供する。
• IL と RL の理論分析を行い、Q* へのアクセス下でサンプル効率が指数的または多項式的に向上する可能性を示す。

提案手法

• ILをオンライン学習として、現在のポリシーが誘導する状態分布の下で専門家のcost-to-go Q*を用いるノーリグレット損失として定式化する（Eq. 1）。
• 2つの勾配更新ファミリーを提示する：通常の Online Gradient Descent (OGD) と Exponential Gradient (EG) で、自然勾配法へと繋がる。
• 離散・連続アクションの実用的な勾配式を導出する（Eq. 3, Eq. 4, Eq. 5; EGの Eq. 6 および Eq. 7）。
• 表現力豊かなポリシーを訓練するために、専門家と学習者のロールインを段階的に混合する微分可能な AggreVaTeD（Alg. 1）を導入する（例：ニューラルネット、LSTM）。
• 低ランク表現と共役勾配法を用いて降下方向を計算する、Fisher情報量ベースの自然勾配更新を効率的に記述する。
• 分散削減勾配推定量（Eq. 12, Eq. 13）と勾配およびFisher行列のサンプルベース近似（Eq. 14）を提供する。

実験結果

リサーチクエスチョン

• RQ1 オラクルを用いた微分可能模倣学習は、逐次予測と制御において従来の RL を上回ることができるか？
• RQ2 オンライン学習更新で専門家のcost-to-go Q*を活用することで、どれくらいのサンプル効率が得られるか？
• RQ3 AggreVaTeD は深層アーキテクチャや部分観測設定（例：LSTM）に拡張しても、性能向上を維持できるか？
• RQ4 離散MDPにおける後悔（regret）およびサンプル複雑性の観点で、IL 対 RL の理論的限界は何か？
• RQ5 高次元タスクにおいて、異なる更新方式（通常の勾配 vs 自然勾配）は実践上どのように比較されるか？

主な発見

• AggreVaTeD は、オラクルを用いた微分可能な定式化とオラクルを組み合わせることで、オラクルが最適でない場合でも expert-level または super-expert の性能を達成できる（経験的結果）。
• ロボティクスのシミュレーションでは、自然勾配 AggreVaTeD が expert を 5.8% 上回り（Acrobot）、25% 上回る（Cart-pole）。
• AggreVaTeD は LSTM ポリシーを用いると、RL が改善を失敗する部分観測設定でも有効であり続ける。
• 連続アクションタスク（Walker、Hopper）では、Walker で expert を 5.4% 改善、Hopper では expert パフォーマンスの 97% に達する。
• 依存構文解析の実験は、LSTMs と NN ポリシーを用いた AggreVaTeD が、RL ベースラインおよび教師あり学習ベースラインと競合する UAS スコアを示す。