[論文レビュー] Value Prediction Network

Junhyuk Oh, Satinder Singh+1 more|arXiv (Cornell University)|Jul 11, 2017

Reinforcement Learning in Robotics参考文献 38被引用数 42

ひとこと要約

本稿では、観測を予測するのではなく、抽象状態から直接将来の価値と報酬を予測することで、モデルフリーとモデルベース強化学習を統合する深層強化学習アーキテクチャである価値予測ネットワーク（VPN）を提案する。VPNは9つのAtariゲームのうち7つでDQNを上回り、確率的環境でも優れたロバストネスを示す。短いアドバンスプランニングを用いても、より良い状態表現の学習とサンプルの複雑さの低減が可能であることを示している。

ABSTRACT

This paper proposes a novel deep reinforcement learning (RL) architecture, called Value Prediction Network (VPN), which integrates model-free and model-based RL methods into a single neural network. In contrast to typical model-based RL methods, VPN learns a dynamics model whose abstract states are trained to make option-conditional predictions of future values (discounted sum of rewards) rather than of future observations. Our experimental results show that VPN has several advantages over both model-free and model-based baselines in a stochastic environment where careful planning is required but building an accurate observation-prediction model is difficult. Furthermore, VPN outperforms Deep Q-Network (DQN) on several Atari games even with short-lookahead planning, demonstrating its potential as a new way of learning a good state representation.

研究の動機と目的

• 高次元かつ確率的な環境では、観測予測モデルの学習が困難であるため、そのような環境で正確な観測予測モデルを学習する課題に対処すること。
• 将来的な観測を予測せずに、将来的な価値と報酬を直接予測することで、計画が可能かどうかを検討すること。
• エンドツーエンドの学習により、モデルベースの計画とモデルフリーの価値学習を統合する深層学習アーキテクチャを構築すること。
• 短いアドバンスプランニングを用いて、Atariゲームのような複雑な視覚環境におけるサンプル効率とポリシー性能を向上させること。
• 多段階の将来的な報酬と価値を補助的に予測することで、状態表現学習の質が向上するかどうかを調査すること。

提案手法

• VPNは、nステップQ学習と時系列差分探索（TD探索）を組み合わせることで、オプション条件付きの将来の価値と報酬を1つのニューラルネットワークで学習する。
• ネットワークは抽象状態空間におけるダイナミクスを学習し、将来の観測を生成せずに将来の価値を予測する。
• アクション選択は、学習済みの価値予測モデルからのシミュレートされたロールアウトを用いたアドバンス木探索によって実行される。
• 訓練中、ブートストラップされたターゲットQ値は、将来の状態からの予測価値を用いて計算される。
• 報酬については教師あり学習、価値についてはQ学習を用いてバックプロパゲーションで訓練され、ダイナミクス関数と価値関数の共同最適化が可能になる。
• Atariゲームでは10フレームのスリップを用いてオプションを形成し、ネットワークは最大0.5秒分の将来の価値をリアルタイムに予測する。

実験結果

リサーチクエスチョン

• RQ1 将来的な価値と報酬を直接予測することで、深層強化学習におけるサンプル効率とパフォーマンスが向上するか？
• RQ2 将来的な状態を観測せずに価値予測モデルを学習することで、確率的環境での一般化性能が向上するか？
• RQ3 価値予測モデルを用いた短いアドバンスプランニングが、Atariゲームのような複雑な視覚環境で標準的なDQNを上回るか？
• RQ4 多段階の将来的な報酬と価値の補助的予測が、学習された状態表現の質をどの程度向上させるか？
• RQ5 訓練時の計画深さが、推論時の短期的および長期的価値予測の質にどのように影響するか？

主な発見

• VPNは9つのAtariゲームのうち7つでDQNを上回り、平均スコアの大幅な向上を示している。例として、Frostbiteでは3811対3058、Seaquestでは5628対2951、Crazy Climberでは54119対41658である。
• Figure 8に示すように、Seaquest、Q*Bert、Krull、Crazy Climberでは、VPNはDQNよりも著しく速く学習を達成しており、学習曲線の勾配が急である。
• 訓練時の計画深さが5であっても、VPNは5より長い計画に一般化できることを示しており、推論時により深い計画の恩恵を受ける能力がある。
• 訓練時に深い計画（d_train > 1）を用いた場合、推論時の計画深さが短い（d_test = 1）と性能が低下するため、長期的計画と短期的計画の品質の間にはトレードオフがあることが示された。
• Figure 9に示すように、VPNは異なるアクション列に対して妥当な価値推定値を出力しており、敵を倒すアクション列では高い価値、死亡に至るアクション列では低い価値を正しく予測している。
• アーキテクチャの将来的な報酬と価値の補助的予測が、DQNに最小限の構造的変更を加えたにもかかわらず、より良い状態表現学習に寄与していることが実証された。