[論文レビュー] DQN with model-based exploration: efficient learning on environments with sparse rewards

Stephen Gou, Yuyang Liu|arXiv (Cornell University)|Mar 22, 2019

Reinforcement Learning in Robotics参考文献 8被引用数 7

ひとこと要約

本稿では、モデルベース探索を用いたDQNを提案し、学習済みのダイナミクスモデルを用いて探索を誘導することで、スパarsely-rewarded環境におけるサンプル効率を向上させる。最近の状態の集合に多次元ガウス分布をフィットさせ、1ステップ先の状態が最も訪問されていない状態へ向かう行動を選択する1ステップ計画を実行することで、探索を改善し、Mountain Carでは学習を加速するが、分布およびモデル化の仮定のためLunar Landerでは性能が劣る。

ABSTRACT

We propose Deep Q-Networks (DQN) with model-based exploration, an algorithm combining both model-free and model-based approaches that explores better and learns environments with sparse rewards more efficiently. DQN is a general-purpose, model-free algorithm and has been proven to perform well in a variety of tasks including Atari 2600 games since it's first proposed by Minh et el. However, like many other reinforcement learning (RL) algorithms, DQN suffers from poor sample efficiency when rewards are sparse in an environment. As a result, most of the transitions stored in the replay memory have no informative reward signal, and provide limited value to the convergence and training of the Q-Network. However, one insight is that these transitions can be used to learn the dynamics of the environment as a supervised learning problem. The transitions also provide information of the distribution of visited states. Our algorithm utilizes these two observations to perform a one-step planning during exploration to pick an action that leads to states least likely to be seen, thus improving the performance of exploration. We demonstrate our agent's performance in two classic environments with sparse rewards in OpenAI gym: Mountain Car and Lunar Lander.

研究の動機と目的

• 報酬がスパarselyな環境では、ほとんどの経験遷移が有用な学習信号を提供しないというDQNのサンプル効率の低さを是正すること。
• リプレイバッファ内の未使用遷移を活用して環境のダイナミクスと状態訪問パターンを学習することで、探索を改善すること。
• 1ステップ計画を用いて、確率が低い状態を能動的に探索するモデルベース探索戦略を設計すること。
• モデルフリーDQNとモデルベース探索を組み合わせることで、より速い学習とより高いサンプル効率が達成されるかどうかを評価すること。
• 正確なダイナミクスモデル化とガウス分布に従う状態訪問という仮定の下で、このアプローチの限界を特定すること。

提案手法

• アルゴリズムは、リプレイバッファの遷移を用いて訓練されたダイナミクス予測ネットワークを用い、現在の状態と行動から次の状態を予測する。
• 最近に訪問された状態の集合に多次元ガウス分布をフィットさせ、新しい状態の確率を推定する。
• 探索中、ガウスモデル下での推定確率が最小となる状態へ向かう行動を選択することで、希少な状態の探索を促進する。
• 1ステップ計画を実行する：各行動に対して次の状態を予測し、その状態のガウスモデル下での尤度を計算し、尤度が最小となる行動を選択する。
• 探索戦略は、DQNのエプソン・グリーディフレームワークに統合され、ランダム探索の代わりにモデルベースの行動選択が行われる。
• このアプローチは、ダイナミクスモデルが正確であると仮定し、かつ状態訪問が多次元ガウス分布に従うと仮定している。

実験結果

リサーチクエスチョン

• RQ1 モデルベース探索は、報酬がスパarselyな環境におけるDQNのサンプル効率を向上させ得るか？
• RQ2 学習済みのダイナミクスモデルを用いて探索を誘導することで、標準DQNと比較して収束が速くなるか？
• RQ3 状態訪問尤度に基づく1ステップ計画は、希少な状態を効果的に発見できるか？
• RQ4 モデルベース探索が失敗する条件は何か？ そして、その性能を制限する主な仮定は何か？
• RQ5 状態分布やダイナミクスの正確性の違いがあるにもかかわらず、Mountain CarやLunar Landerといった異なる環境に一般化可能か？

主な発見

• 提案手法は、Mountain Carにおいて標準DQNを顕著に上回り、平均報酬が50エピソード以内に著しく向上したのに対し、DQNは100エピソード以上を要した。
• オリジナルのDQNはMountain Carの一部の実行で学習に失敗したが、モデルベース探索手法は3回の独立した実行すべてで成功した。
• モンテカルロ方策勾配法は、Mountain Carのすべての実行で学習に失敗した。これは報酬がスパarselyな環境の難しさを示している。
• Lunar Landerでは、DQNと比較して顕著な改善が見られず、ダイナミクスモデルの精度が低く、状態訪問が正規分布に従わないことが原因であった。
• Lunar Landerでの失敗は、2つの核心的仮定の違反に起因している：不正確なダイナミクス予測と非ガウス分布の状態訪問。
• 可視化により、Lunar Landerでは本手法がランダム探索やカーネルベース類似度手法と比較して状態カバレッジを拡大していないことが確認され、探索が効果的でないことが示された。