[論文レビュー] Dyna Planning using a Feature Based Generative Model

Ryan Faulkner, Doina Precup|arXiv (Cornell University)|May 23, 2018

Reinforcement Learning in Robotics参考文献 16被引用数 3

ひとこと要約

本論文は、画像観測が含まれるような高次元状態空間において、サンプル効率を向上させるために、深層信念ネットワーク（DBNs）を非線形生成モデルとして、Dyna強化学習フレームワークに組み込む手法を提案する。このアプローチは、線形モデルと比較して、特に価値関数学習に用いる高品質なシミュレートされた軌道を生成する際、学習速度と性能が顕著に優れている。

ABSTRACT

Dyna-style reinforcement learning is a powerful approach for problems where not much real data is available. The main idea is to supplement real trajectories, or sequences of sampled states over time, with simulated ones sampled from a learned model of the environment. However, in large state spaces, the problem of learning a good generative model of the environment has been open so far. We propose to use deep belief networks to learn an environment model for use in Dyna. We present our approach and validate it empirically on problems where the state observations consist of images. Our results demonstrate that using deep belief networks, which are full generative models, significantly outperforms the use of linear expectation models, proposed in Sutton et al. (2008)

研究の動機と目的

• 従来のDyna手法が困難をきたす大規模または連続的状態空間において、効果的な生成モデルを学習する課題に対処すること。
• 画像のような複雑な高次元観測をモデル化するために深層信念ネットワークを活用し、強化学習におけるサンプル効率を向上させること。
• Dynaスタイルの計画において、非線形生成モデルが線形期待モデルを上回ることを示すこと。
• 画像ベースの観測と非決定的遷移を有する環境において、このアプローチを検証すること。

提案手法

• 本手法は、画像観測から得られる状態の階層的・非線形表現を学習するために深層信念ネットワーク（DBNs）を用いる。
• 現在の状態を条件として次の状態の条件付き分布をモデル化するため、2つのDBNの間に時間的層を訓練する。
• 各行動に対して別個のDBNを訓練し、状態遷移をモデル化することで、行動に依存した次の状態の生成を可能にする。
• 生成モデルは、現在の状態観測を入力としてDBNにおける推論を実行することで、シミュレートされた遷移を生成する。
• これらのシミュレートされた遷移は、実環境経験と併用され、線形関数近似を用いたTD(0)学習により価値関数を更新する。
• シミュレートされたサンプルの学習率はエピソードに伴い減少し、ε-greedy探索は冷却を伴って用いられる。

実験結果

リサーチクエスチョン

• RQ1 深層信念ネットワークは、強化学習環境における複雑な高次元状態遷移を効果的にモデル化できるか？
• RQ2 Dynaフレームワークに非線形生成モデルを用いることで、線形モデルと比較して、より高速かつ正確に価値関数を学習できるか？
• RQ3 画像ベースの観測と確率的ダイナミクスを有する環境において、生成モデルはどの程度の性能を示すか？
• RQ4 シミュレートされた軌道の品質が、Dyna計画の性能にどの程度影響を与えるか？

主な発見

• DBNを用いて学習された生成モデルは、画像観測から次の状態を予測する際に高い正確性を達成し、効果的なシミュレーションを可能にした。
• DBNに基づく生成モデルを用いたDynaは、ベースラインのTD(0)/SARSAと比較して、より少ない実環境の相互作用と合計データ量で高い報酬を達成した。
• DBNベースのモデルは線形モデルよりも高品質なシミュレートされた軌道を生成し、より長く効果的な計画が可能になった。
• 線形モデルのシミュレートされた遷移は数ステップ（約10ステップ内）で著しく劣化し、長時間計画には有用でなかった。
• 1回の実環境ステップに対してK=50のシミュレートステップを用いた生成Dynaは優れた性能を示し、7500の環境ステップで約14時間で学習が完了した。
• 生成Dynaモデルから得られた方策は、グリッドワールドの歩行シミュレーションで明確に一貫性があり、目的指向的な行動を示した。