[論文レビュー] World Model as a Graph: Learning Latent Landmarks for Planning

Lunjun Zhang, Ge Yang+1 more|arXiv (Cornell University)|Nov 25, 2020

Reinforcement Learning in Robotics参考文献 51被引用数 22

ひとこと要約

本論文では、連続制御タスクにおけるスケーラブルで長時間スパンの計画を可能にするために、潜在的ランドマークを用いたグラフ構造の世界モデルを学習する手法$L^{3}P$を提案する。到達可能性に基づいた潜在的ゴールをクラスタリングし、動的再計画を伴う頑健なグラフ探索プランナを用いることで、先行するモデルベースRLおよび階層的RL手法と比較して、優れたサンプル効率と性能を達成する。

ABSTRACT

Planning - the ability to analyze the structure of a problem in the large and decompose it into interrelated subproblems - is a hallmark of human intelligence. While deep reinforcement learning (RL) has shown great promise for solving relatively straightforward control tasks, it remains an open problem how to best incorporate planning into existing deep RL paradigms to handle increasingly complex environments. One prominent framework, Model-Based RL, learns a world model and plans using step-by-step virtual rollouts. This type of world model quickly diverges from reality when the planning horizon increases, thus struggling at long-horizon planning. How can we learn world models that endow agents with the ability to do temporally extended reasoning? In this work, we propose to learn graph-structured world models composed of sparse, multi-step transitions. We devise a novel algorithm to learn latent landmarks that are scattered (in terms of reachability) across the goal space as the nodes on the graph. In this same graph, the edges are the reachability estimates distilled from Q-functions. On a variety of high-dimensional continuous control tasks ranging from robotic manipulation to navigation, we demonstrate that our method, named L3P, significantly outperforms prior work, and is oftentimes the only method capable of leveraging both the robustness of model-free RL and generalization of graph-search algorithms. We believe our work is an important step towards scalable planning in reinforcement learning.

研究の動機と目的

• モデルベースRLがモデル発散により失敗する高次元の連続制御環境における長時間スパン計画の課題に対処すること。
• 学習可能な世界モデルを通じて、モデルフリーRLの頑健性とグラフ探索計画の一般化能力を統合すること。
• 固定またはヒューリスティックな状態ではなく、潜在空間における疎で到達可能性に配慮したランドマークを学習することで、計画の探索空間を縮小すること。
• 必要に応じてのみ再計画を行い、エッジ重みにソフトリラクゼーションを用いることで、サンプル効率と計画の頑健性を向上させること。

提案手法

• 時間的距離が対照的損失によって符号化された到達可能性に基づいた潜在空間におけるゴールのクラスタリングにより、学習された潜在的ランドマークが得られる。
• グラフのエッジはQ関数から抽出された到達可能性推定値から得られ、ノイズや不正確な推定値に対する頑健性を向上させるためにソフトマックス（softmax）によるリラクゼーションが施される。
• 本手法では、グラフを用いた一時的抽象化推論を実行する新しいオンラインプランナが採用されており、必要に応じてのみ再計画が行われ、以前のランドマークが削除されることで、閉じ込めを回避する。
• 動的再計画戦略により、適応性と一貫性のバランスが図られ、各タイムステップで再計画を繰り返すのを避ける。
• エッジ重みをクリッピングするためにハイパーパrameter $d_{\text{max}}$ が使用され、グラフ探索中に局所的に信頼できる遷移のみが考慮される。
• ランドマークの数は調整可能なハイパーパrameterであるが、学習されたランドマークの自己疎性分布のおかげで、$L^{3}P$は異なる値に対しても頑健である。

実験結果

リサーチクエスチョン

• RQ1 学習されたグラフ構造の世界モデルに潜在的ランドマークを組み込むことで、従来のモデルベースRLよりも長時間スパンの連続制御タスクで優れた性能を発揮できるか？
• RQ2 到達可能性に基づいた潜在的クラスタリングを用いることで、計画のスケーラビリティとサンプル効率がどのように向上するか？
• RQ3 $L^{3}P$プランナは、グラフエッジの到達可能性推定値にノイズや不正確さが含まれる状況でも、どの程度頑健であるか？
• RQ4 $L^{3}P$における動的再計画は、各ステップで単純に再計画を行う手法と比較して、性能と安定性においてどのように異なるか？
• RQ5 $L^{3}P$は、限られた経験データで学習した場合でも、より長い時間スパンや未観測の環境に一般化できるか？

主な発見

• $L^{3}P$は、AntMaze-Hardを含む、挑戦的なロボットナビゲーションおよび操作タスクにおいて、先行するモデルベースRLおよび階層的RL手法を著しく上回る性能を発揮する。
• 特に長時間スパンの計画シナリオにおいて、ベースライン手法と比較して高い漸近的性能と優れたサンプル効率を達成する。
• アブレーションスタディの結果、$L^{3}P$プランナが成功の鍵を握っており、各ステップで最短経路を再計算する単純なプランナーよりも優れた性能を示す。
• ランドマーク数の変更に対してもアルゴリズムが頑健であることが示され、学習プロセスが自然にゴール空間全体にわたってランドマークを分散させることでカバー率を維持する。
• エッジ重みにハードマックスではなくソフトマックスを用いることで、不正確な到達可能性推定値に対する頑健性が向上し、特に偶発的な悪いエッジが存在する状況で顕著である。
• 本手法は、より長い時間スパンに一般化でき、他の手法が失敗する状況でも優れた性能を示す。これは、グラフ構造の計画による効果的な時間的抽象化を示している。