[論文レビュー] On the role of planning in model-based deep reinforcement learning

Jessica B. Hamrick, Abram L. Friesen+8 more|arXiv (Cornell University)|May 3, 2021

Reinforcement Learning in Robotics参考文献 68被引用数 26

ひとこと要約

この論文は、多様な環境におけるMuZeroを分析することで、モデルベース強化学習（MBRL）における計画の役割を調査する。計画は学習効率とデータ品質を顕著に向上させ、モンテカルロロールアウトを用いた浅い木構造が非常に効果的であることが判明し、計画そのものでは強力な一般化が達成できないことが示された。

ABSTRACT

Model-based planning is often thought to be necessary for deep, careful reasoning and generalization in artificial agents. While recent successes of model-based reinforcement learning (MBRL) with deep function approximation have strengthened this hypothesis, the resulting diversity of model-based methods has also made it difficult to track which components drive success and why. In this paper, we seek to disentangle the contributions of recent methods by focusing on three questions: (1) How does planning benefit MBRL agents? (2) Within planning, what choices drive performance? (3) To what extent does planning improve generalization? To answer these questions, we study the performance of MuZero (Schrittwieser et al., 2019), a state-of-the-art MBRL algorithm with strong connections and overlapping components with many other MBRL algorithms. We perform a number of interventions and ablations of MuZero across a wide range of environments, including control tasks, Atari, and 9x9 Go. Our results suggest the following: (1) Planning is most useful in the learning process, both for policy updates and for providing a more useful data distribution. (2) Using shallow trees with simple Monte-Carlo rollouts is as performant as more complex methods, except in the most difficult reasoning tasks. (3) Planning alone is insufficient to drive strong generalization. These results indicate where and how to utilize planning in reinforcement learning settings, and highlight a number of open questions for future MBRL research.

研究の動機と目的

• モデルベース強化学習（MBRL）エージェントの成功に計画がどのように寄与するかを理解すること。
• 木の深さやロールアウト戦略といった計画の各要素の中で、性能に最も影響を与える要因を同定すること。
• 計画が未観測の環境への強力な一般化を可能にするかを評価すること。
• MuZeroのような最先端のMBRLアルゴリズムにおける計画の貢献を、他のコンポonent（世界モデル、方策最適化、探索など）から分離して評価すること。

提案手法

• 著者たちは、他のMBRL手法と広範なアーキテクチャ的・機能的類似性を持つ最先端のMBRLアルゴリズムであるMuZeroに対して、体系的なアブレーションと干渉実験を実施する。
• 制御タスク、Atariゲーム、9x9ゴンの各分野において、木の深さ、ロールアウト戦略（例：モンテカルロ対価値誘導型）、計画頻度といった計画コンポーネントを変更する。
• 学習効率、最終エージェント性能、未観測環境への一般化性能の観点から性能を評価する。
• 計画の影響をモデル学習、方策最適化、探索から分離するための統一フレームワークを用いる。
• 干渉には、計画を完全に無効化する、複雑な計画を浅い木構造に置き換える、学習済み価値推定の代わりにランダムロールアウトを用いるなどの操作が含まれる。
• 連続的制御、離散的制御、ボードゲームを含む多様なベンチマークを用いて、分野横断的な耐久性を評価する。

実験結果

リサーチクエスチョン

• RQ1 計画は、モデルベース強化学習の学習プロセスにおいて具体的にどのように利益をもたらすのか？
• RQ2 木の深さやロールアウト戦略といった計画メカニズムのどの側面が性能に最も顕著に影響を与えるのか？
• RQ3 計画は、分布外環境への一般化をどの程度向上させるのか？
• RQ4 より単純な計画メカニズムは、より複雑な手法と同等の性能を達成できるのか、そしてどのような条件下で達成できるのか？

主な発見

• 計画は主に学習段階で最も効果的であり、方策更新を改善し、訓練に役立つデータ分布を形成する。
• モンテカルロロールアウトを用いた浅い木構造は、複雑な計画手法と同等の性能を達成するが、最も困難な推論タスクを除いては同様である。
• 計画そのものでは強力な一般化が達成できないことが示され、世界モデルの能力や探索戦略といった他のコンポーネントが不可欠であることが明らかになった。
• 計画による性能向上は、主に初期学習段階で顕著であり、これは計画が強力な信用配分およびデータ拡張メカニズムとして機能していることを示唆する。
• 9x9ゴンのような深く推論を要する環境では、より洗練された計画戦略が単純なロールアウトよりも顕著な利点を示す。
• 結果から、計画の主な価値は内在的な推論能力ではなく、サンプル効率と方策学習の向上にあることが浮き彫りになった。