[論文レビュー] Deep Reinforcement Learning with Model Learning and Monte Carlo Tree Search in Minecraft

Stephan Alaniz|arXiv (Cornell University)|Mar 22, 2018

Reinforcement Learning in Robotics参考文献 9被引用数 16

ひとこと要約

この論文では、Minecraftにおけるブロック配置タスクを解消するために、深層ニューラルネットワーク（DNN）ベースの遷移モデルとモンテカルロ木探索（MCTS）を組み合わせたモデルベース強化学習手法を提案する。モデルは4つの連続するフレームとアクションから、次のフレームの観測と即時の報酬を予測し、MCTSによるサンプル効率の高い計画を可能にし、DQN（Deep Q-Network）と同等の性能を達成するが、はるかに高速な学習と低いデータ要件を実現する。

ABSTRACT

Deep reinforcement learning has been successfully applied to several visual-input tasks using model-free methods. In this paper, we propose a model-based approach that combines learning a DNN-based transition model with Monte Carlo tree search to solve a block-placing task in Minecraft. Our learned transition model predicts the next frame and the rewards one step ahead given the last four frames of the agent's first-person-view image and the current action. Then a Monte Carlo tree search algorithm uses this model to plan the best sequence of actions for the agent to perform. On the proposed task in Minecraft, our model-based approach reaches the performance comparable to the Deep Q-Network's, but learns faster and, thus, is more training sample efficient.

研究の動機と目的

• Minecraftのような部分観測の視覚的環境において、学習済みモデルを用いた計画が、モデルフリーのDQNと同等の性能を達成できるかどうかを調査すること。
• モデル学習とモンテカルロ木探索（MCTS）を組み合わせることで、ブロック配置タスクにおけるサンプル効率を向上させること。
• 1ステップ先の報酬予測が、構造的視覚環境におけるMCTS性能に与える影響を評価すること。
• 訓練速度、データ効率、最終的な性能の観点から、モデルベース計画とモデルフリーQ学習のトレードオフを分析すること。
• フレームベースモデルの短時間記憶による制限を特定し、将来の再帰的ネットワークの使用を提案すること。

提案手法

• 深層畳み込みニューラルネットワークを、最後の4つのフレームと現在のアクションから、次の観測（64×64グレースケールフレーム）と即時の報酬を予測するように訓練する。
• 遷移モデルをモンテカルロ木探索（MCTS）アルゴリズムに統合し、将来の軌道をシミュレートすることで最適なアクション列を計画する。
• 木のポリシーとしてUCT（木に対する上界付き信頼区間）を用い、UCB1に基づく探索戦略を採用し、探索と活用のバランスを取るためにk値を8に調整する。
• MCTSエージェントは、将来の報酬に割引率0.95を適用し、報酬予測の分散を低減するために経験的に選択した。
• モデルは、Malmoフレームワークを用いてMinecraft環境から収集した軌道を用いて、エンドツーエンドで訓練する。
• 比較のため、同じ入力（4フレーム）を用いた標準的なDQNエージェントを、元のDQNアーキテクチャとハイパーパrameterを用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 学習済みモデルベースエージェントがMCTSを用いて、視覚的に複雑で部分観測可能な環境（例：Minecraft）でDQNエージェントと同等の性能を達成できるか？
• RQ2 1ステップ先の報酬予測を含めることで、MCTSエージェントのブロック配置タスクにおける性能にどのような影響があるか？
• RQ3 このタスクにおいて、モデルベースアプローチがモデルフリーのDQNに比べてどの程度データ効率が優れているか？
• RQ4 モデルベースアプローチの主な失敗モードは何か、特に長時間のロールアウトにおける誤差蓄積に関しては？
• RQ5 限られたコンテキスト（最後の4フレーム）を持つフレームベースモデルは、計画を効果的にサポートできるか、それとも再帰的モデリングが必要か？

主な発見

• MCTSエージェントは500万ステップの訓練後、72％の成功率を達成し、DQNエージェントの74％とほぼ同等の性能を示し、競争力のある性能を実証した。
• MCTSエージェントは100万ステップで64％の成功率に達したが、DQNエージェントは同じ時点で12％にとどまり、サンプル効率の優位性が明確に示された。
• 1ステップ先の報酬予測を含むMCTSエージェントは250万ステップで70％の成功率を達成したが、予測なしでは30％にとどまり、即時の報酬監視の重要性が裏付けられた。
• モデルベースアプローチは、DQNの性能に到達するまでに150万ステップ少ない訓練ステップを要したため、データ効率の優位性が顕著に示された。
• DQNエージェントは最初の170万ステップで顕著なQ値過大評価を示したが、学習率の調整にもかかわらず、その傾向は持続した。
• モデルベースエージェントの性能は、短いコンテキスト窓（最後の4フレーム）に起因し、過去の情報が見えなくなった場合に誤った予測を生じさせた。