[論文レビュー] A Deep Learning Approach for Joint Video Frame and Reward Prediction in Atari Games

Felix Leibfried, Nate Kushman+1 more|arXiv (Cornell University)|Nov 21, 2016

Reinforcement Learning in Robotics参考文献 35被引用数 23

ひとこと要約

本論文では、1つの畳み込みニューラルネットワークを用いて、Atariゲームにおける将来の動画フレームと累積報酬を同時に予測する深層学習モデルを提案する。フレーム再構成と報酬予測の両方を同時に最適化することで、200フレーム先までの累積報酬予測が高精度で達成され、動的な挙動や報酬関数が未知の高次元で視覚的に複雑な環境におけるモデルベース強化学習の基盤を確立する。

ABSTRACT

Reinforcement learning is concerned with identifying reward-maximizing behaviour policies in environments that are initially unknown. State-of-the-art reinforcement learning approaches, such as deep Q-networks, are model-free and learn to act effectively across a wide range of environments such as Atari games, but require huge amounts of data. Model-based techniques are more data-efficient, but need to acquire explicit knowledge about the environment. In this paper, we take a step towards using model-based techniques in environments with a high-dimensional visual state space by demonstrating that it is possible to learn system dynamics and the reward structure jointly. Our contribution is to extend a recently developed deep neural network for video frame prediction in Atari games to enable reward prediction as well. To this end, we phrase a joint optimization problem for minimizing both video frame and reward reconstruction loss, and adapt network parameters accordingly. Empirical evaluations on five Atari games demonstrate accurate cumulative reward prediction of up to 200 frames. We consider these results as opening up important directions for model-based reinforcement learning in complex, initially unknown environments.

研究の動機と目的

• 動的な挙動や報酬関数が初期状態で未知である高次元の視覚的環境におけるモデルベース強化学習を可能にすること。
• 生の視覚入力から将来の状態と報酬を同時に予測する統合的深層学習フレームワークの開発。
• 環境の動的挙動と報酬構造の明示的モデルを学習することで、環境との相互作用データの大量依存を低減すること。
• モンテカルロ木探索やDynaスタイルの学習といった将来の計画アルゴリズムを支援するため、正確な予測モデルを提供すること。
• 生涯学習やマルチタスク強化学習の前提条件としての同時予測の可能性を検討すること。

提案手法

• フレーム再構成損失と累積報酬予測損失の両方を最小化する共同最適化目的関数を用いて、深層畳み込みニューラルネットワークを訓練する。
• ネットワークは、視覚的状態遷移を符号化し、同時に将来のフレームと報酬を予測するための共有潜在表現を用いる。
• エピソードのデータセットをアーケード学習環境（ALE）で収集し、バックプロパゲーションを用いてエンドツーエンドで訓練を行う。
• 先行研究の動画予測（Oh et al., 2015）を拡張し、複数フレームにわたる累積未来報酬を予測する報酬ヘッドを統合する。
• 長期予測の安定性を向上させるために、時系列畳み込みと残差接続を活用する。
• 5つのAtariゲームで評価を行い、多様な視覚的および報酬構造における同時予測の精度と一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、高次元の視覚的環境において将来の動画フレームと累積報酬を正確に予測できるか？
• RQ2 フレームと報酬の予測を同時に最適化することで、別々のモデルを用いた場合と比較して長期予測の報酬推定性能が向上するか？
• RQ3 このような同時予測モデルが、動的挙動や報酬関数が未知の環境におけるモデルベース強化学習の基盤としてどの程度有効に機能するか？
• RQ4 Atariゲームで一般的なスパarsなまたは遅延報酬構造下でも、モデルの性能はどの程度維持されるか？
• RQ5 長期予測における誤差の累積を抑えることができ、信頼性のある計画を可能にするか？

主な発見

• 本モデルは、5つのAtariゲームにおいて、200フレーム先までの累積報酬予測を高精度で達成し、長期予測における一般化性能を示した。
• 共同学習により、フレームと報酬ヘッドを個別に学習する場合と比較して、報酬予測性能が顕著に向上した。
• 明示的な環境モデルなしで、視覚的に豊かな環境における複雑な動的挙動と報酬構造を効果的に捉えた。
• 定性的な分析から、未観測のゲーム状態に対しても一般化が良く、妥当な将来のフレームと報酬推移を予測していることが示された。
• 先行研究とは異なり、予測における誤差の累積を緩和し、安定した長期予測を実現した。
• 学習された同時動的挙動と報酬モデルが、複雑な視覚ドメインにおける計画ベースの強化学習の基盤として実現可能であることを実証した。