[論文レビュー] Successor Feature Landmarks for Long-Horizon Goal-Conditioned Reinforcement Learning

Hoang Anh Thi Van, Sungryull Sohn+3 more|arXiv (Cornell University)|Nov 18, 2021

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は、長期間のゴール条件付き強化学習のためのフレームワークであるSuccessor Feature Landmarks (SFL)を提案する。SFLは、状態の新規性推定による探索を促進するための後続特徴（SF）と、非パrametricなランドマークベースのグラフを用いた高レベルの計画を可能にする。SFLは、成功特徴類似度（SFS）から直接ゴール条件付き方策を計算し、MiniGridおよびViZDoomで最先端の性能を達成しており、最も困難なViZDoomテストで85%の成功を記録した。これは、高次元で長期間の設定において、ベースラインを上回っている。

ABSTRACT

Operating in the real-world often requires agents to learn about a complex environment and apply this understanding to achieve a breadth of goals. This problem, known as goal-conditioned reinforcement learning (GCRL), becomes especially challenging for long-horizon goals. Current methods have tackled this problem by augmenting goal-conditioned policies with graph-based planning algorithms. However, they struggle to scale to large, high-dimensional state spaces and assume access to exploration mechanisms for efficiently collecting training data. In this work, we introduce Successor Feature Landmarks (SFL), a framework for exploring large, high-dimensional environments so as to obtain a policy that is proficient for any goal. SFL leverages the ability of successor features (SF) to capture transition dynamics, using it to drive exploration by estimating state-novelty and to enable high-level planning by abstracting the state-space as a non-parametric landmark-based graph. We further exploit SF to directly compute a goal-conditioned policy for inter-landmark traversal, which we use to execute plans to "frontier" landmarks at the edge of the explored state space. We show in our experiments on MiniGrid and ViZDoom that SFL enables efficient exploration of large, high-dimensional state spaces and outperforms state-of-the-art baselines on long-horizon GCRL tasks.

研究の動機と目的

• 大規模で高次元の状態空間における長期間のゴール条件付き強化学習の課題に対処すること。
• 人間の示唆や均一な状態空間の生成に依存せずに、効率的な探索を可能にすること。
• 後続特徴を用いた状態抽象化とゴール指向ナビゲーションを実現する、スケーラブルで動的であるグラフベースの計画フレームワークを構築すること。
• 追加の方策学習を不要とすることで、成功特徴類似度（SFS）から直接ゴール条件付き方策を計算すること。
• 3D迷路やグリッドワールドのような複雑な環境における一般化性とスケーラビリティを向上させること。

提案手法

• 後続特徴（SF）を活用して遷移ダイナミクスを捉え、新たな距離尺度「成功特徴類似度（SFS）」を定義する。
• SFSを用いて状態の新規性を推定し、探索中に新たなランドマークを選択し、非パrametricなランドマークベースのグラフを構築する。
• ノードがランドマークで、エッジが状態間の距離推定としてSFSに基づく有向グラフを構築する。
• 別個の方策学習を必要とせず、SFSから直接導出されたゴール条件付き方策を採用する。
• グラフを用いてフロントランダムランドマークへのパスを計画し、各セグメントをSFSに基づく方策で実行する。
• 探索トラジェクトリから得られる遷移を自己教師ありの方法で用いて、グラフとSF表現を更新する。

実験結果

リサーチクエスチョン

• RQ1 人間の示唆に依存せず、高次元で長期間の環境において、後続特徴を用いて効率的な探索を実現できるか？
• RQ2 追加の学習を必要とせず、SFSがゴール条件付き方策計算のための頑健で学習可能な距離尺度として機能できるか？
• RQ3 SFSから構築されたランドマークベースのグラフが、複雑な環境におけるスケーラブルで効果的な長期間計画を可能にするか？
• RQ4 SFLは、長期間タスクにおける成功確率とサンプル効率の観点から、最先端のグラフベースおよびモデルフリー手法と比較して優れているか？
• RQ5 SFLは、特に最も困難で遠く離れた状況において、多様なゴール位置に一般化できるか？

主な発見

• SFLは、最も困難なViZDoomテストで85%の成功率を達成し、次に良いベースライン（EC+FS+SGM）の48%を大きく上回った。
• 最も困難なMiniGridレベルでは、SFLが62%の成功率を記録し、すべてのアブレーションベースラインを上回り、遠く離れたゴールへの一般化性が強いことを示した。
• 高次元状態空間において、他の手法が探索カバレッジが不十分なためにスケーリングできない中で、SFLは優れたサンプル効率を示した。
• ECが生成したトラジェクトリをグラフの構築に用いることで、SPTMの長期間ゴールへの性能が向上した。これは、探索ボーナスが遠く離れた領域のカバレッジを向上させることを示している。
• FSが生成したトラジェクトリはカバレッジが限定的であったが、エ valuation設定との分布的整合性のおかげで、EasyおよびMedium難易度ではRSおよびECを上回った。
• 可視化により、ECエージェントがFSよりも優れた長距離状態カバレッジを達成していることが確認された一方で、RSは最も広範なマップカバレッジを提供しており、探索戦略がグラフ品質に与える影響を裏付けた。