[論文レビュー] Procedural Generalization by Planning with Self-Supervised World Models

Ankesh Anand, Jacob Walker+6 more|arXiv (Cornell University)|Nov 2, 2021

Reinforcement Learning in Robotics参考文献 76被引用数 4

ひとこと要約

この論文は、自己教師あり世界モデルを用いたモデルベース強化学習における手続き的およびタスク一般化を検討している。MuZeroを用いた実験では、計画、自己教師あり表現学習、および手続き的データの多様性を組み合わせることで、Procgenにおける最先端の一般化性能とデータ効率性を達成しているが、Meta-Worldにおけるタスク一般化にはその利点が限定的であることが示され、未知の報酬関数への転移にはより優れた探索戦略の導入が求められる可能性がある。

ABSTRACT

One of the key promises of model-based reinforcement learning is the ability to generalize using an internal model of the world to make predictions in novel environments and tasks. However, the generalization ability of model-based agents is not well understood because existing work has focused on model-free agents when benchmarking generalization. Here, we explicitly measure the generalization ability of model-based agents in comparison to their model-free counterparts. We focus our analysis on MuZero (Schrittwieser et al., 2020), a powerful model-based agent, and evaluate its performance on both procedural and task generalization. We identify three factors of procedural generalization -- planning, self-supervised representation learning, and procedural data diversity -- and show that by combining these techniques, we achieve state-of-the art generalization performance and data efficiency on Procgen (Cobbe et al., 2019). However, we find that these factors do not always provide the same benefits for the task generalization benchmarks in Meta-World (Yu et al., 2019), indicating that transfer remains a challenge and may require different approaches than procedural generalization. Overall, we suggest that building generalizable agents requires moving beyond the single-task, model-free paradigm and towards self-supervised model-based agents that are trained in rich, procedural, multi-task environments.

研究の動機と目的

• モデルベースエージェント、特にMuZeroの一般化能力を体系的に評価すること。
• 自己教師あり表現学習と手続き的データの多様性が、モデルベース強化学習における一般化を改善するかを調査すること。
• モデルフリー強化学習で見られた改善（例：自己教師あり学習、データの多様性）が、モデルベースエージェントにも同様に転送可能かどうかを評価すること。
• 手続き的一般化を可能にする主な要因を特定し、タスク一般化におけるその限界を理解すること。

提案手法

• 世界モデルの品質を向上させるために、自己教師ありピクセル再構成を事前学習目的としてMuZeroに組み込み、変更を加えた。
• ProcgenおよびMeta-Worldの多様な環境設定で学習することで、手続き的データ拡張を用いてデータの多様性を向上させた。
• モンテカルロツリー探索（MCTS）を用いてMuZeroにおける計画を実装し、内部の世界モデルを用いた長時間スパンの意思決定を可能にした。
• 自己教師あり学習の有無、データ多様性の変動、制御されたモデルフリーQ-Learningベースラインとの比較を含むアブレーションスタディを実施した。
• 標準化されたベンチマークを用いて、手続き的一般化（未知の環境設定）とタスク一般化（未知の報酬関数）の両方で性能を評価した。
• テストタスクでのファインチューニングを通じて転移性能と累積レジストを測定し、データ効率性と転移可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり表現学習は、MuZeroのようなモデルベースエージェントにおける手続き的一般化を改善するか？
• RQ2 手続き的データの多様性は、モデルベースエージェントの一般化性能とデータ効率性にどのように影響するか？
• RQ3 MuZeroにおける計画は、手続き的およびタスク一般化の両設定において、モデルフリー手法よりも優れた一般化を実現できるか？
• RQ4 Procgenでは成功を収めた自己教師あり学習とデータ多様性が、Meta-Worldにおけるタスク一般化では限定的な効果にとどまるのはなぜか？
• RQ5 現在のモデルベースエージェントが、未知の報酬関数への知識転移において直面する主な限界は何か？

主な発見

• 自己教師あり表現学習と手続き的データ多様性を組み合わせたMuZeroは、ProcgenおよびML-1およびML-45の手続き的一般化ベンチマークで最先端の性能を達成した。
• 計画、自己教師あり学習、データ多様性の組み合わせにより、手続き的一般化における顕著なデータ効率性が実現され、広範な訓練データの必要性が低減された。
• 自己教師あり事前学習は、ProcgenにおけるMuZeroの性能とデータ効率性を向上させたが、Meta-Worldにおけるタスク一般化には顕著な利点をもたらさなかった。
• MuZeroはMeta-Worldにおける未知のタスクに弱い正の転移を示し、初期学習からの学習を上回ったが、自己教師あり学習によってその恩恵が拡大されたわけではない。
• タスク一般化において自己教師あり学習に改善効果がないことから、優れた世界モデルだけでは、特に報酬関数が未知の状況では有効な転移が達成できないことが示唆された。
• 著者らは、未知のタスクにおける探索の悪さ、偏った世界モデル、および15フレームという限られた記憶長がタスク一般化を妨げている可能性を仮説し、改善されたオンライン探索戦略の導入が求められるとした。