[論文レビュー] Learning model-based planning from scratch

Razvan Pascanu, Yujia Li+8 more|arXiv (Cornell University)|Jul 19, 2017

Artificial Intelligence in Games参考文献 21被引用数 78

ひとこと要約

この研究は、Imagination-based Planner (IBP) を提示します。完全に学習可能なモデルベースのエージェントであり、想像したロールアウトを通じて計画を構築・評価・実行します。連続制御と離散迷路で実証。

ABSTRACT

Conventional wisdom holds that model-based planning is a powerful approach to sequential decision-making. It is often very challenging in practice, however, because while a model can be used to evaluate a plan, it does not prescribe how to construct a plan. Here we introduce the "Imagination-based Planner", the first model-based, sequential decision-making agent that can learn to construct, evaluate, and execute plans. Before any action, it can perform a variable number of imagination steps, which involve proposing an imagined action and evaluating it with its model-based imagination. All imagined actions and outcomes are aggregated, iteratively, into a "plan context" which conditions future real and imagined actions. The agent can even decide how to imagine: testing out alternative imagined actions, chaining sequences of actions together, or building a more complex "imagination tree" by navigating flexibly among the previously imagined states using a learned policy. And our agent can learn to plan economically, jointly optimizing for external rewards and computational costs associated with using its imagination. We show that our architecture can learn to solve a challenging continuous control problem, and also learn elaborate planning strategies in a discrete maze-solving task. Our work opens a new direction toward learning the components of a model-based planning system and how to use them.

研究の動機と目的

• モデルが

提案手法

• IBPを4つの構成要素：行動するか想像するかを決定するマネージャ、行動を提案するコントローラ、結果を予測する想像モデル、内部データと外部データを統合するメモリの4つの構成要素として定義する。
• 計画を、各ステップが行動を実行するか結果を想像するかの反復サイクルとして表現し、想像された経験と実際の経験から計画コンテキストを構築する。
• 3つの想像戦略（1ステップ、nステップ、想像ツリー）を実装し、どの状態から想像を始めるかと想像アクションをどう連鎖させるかを決定する。
• 外部タスク損失（燃料コスト + 目標までの最終距離）と内部資源コスト（想像コスト）の2つの損失でエンドツーエンドに学習し、勾配ベースの最適化と離散ルーティングにはREINFORCEを用いる。
• 想像ダイナミクスと実状態遷移を予測する世界モデルとしてインタラクションネットワークを活用し、連続アクションにはSVGベースの勾配で最適化する。

実験結果

リサーチクエスチョン

• RQ1 完全に学習可能なモデルベースのプランナーは、想像したロールアウトを使用して計画を構築・評価・実行できるか。
• RQ2 計画時に外部タスクの性能と内部計算コストをどうバランスさせるべきか。
• RQ3 連続タスクと離散タスクで、どの計画戦略（1ステップ、複数ステップ、ツリー型の想像）が最も効果的か。
• RQ4 学習された想像戦略はタスク間で一般化し、離散迷路の状態の曖昧さを扱えるか。

主な発見

• IBPは、挑戦的な連続制御タスクでモデルベースの想像を用いて性能を向上させることを学習する。
• 想像はエージェントに代替案を試し、アクションを連鎖させ、計画のための複雑な想像木を構築させる。
• 許容される想像ステップ数を増やすとタスク損失が低下し、計画に先を読む価値を示す。
• 離散迷路では、想像ツリーストラテジーが1ステップおよびnステップ戦略を上回り、複数ゴールシナリオで最適報酬に近づく。