[論文レビュー] PLGRIM: Hierarchical Value Learning for Large-scale Exploration in Unknown Environments

Sung-Kyun Kim, Amanda Bouman+5 more|arXiv (Cornell University)|Feb 10, 2021

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

PLGRIM は、空間的領域分割による情報ロードマップ（IRMs）とリcedeving ホライズン計画を用いて、未知かつ GPS 無効環境における大規模自律探索のための階層的信念空間計画フレームワークを提案する。これにより、局所的リスクに配慮したカバレッジとグローバルな報酬獲得目標を統合し、複雑な地形においてスケーラブルで近似的最適な探索を実現。シミュレーションおよびラバータンの実世界テストにおいて、60分間で95％のカバレッジを達成し、ベースラインを上回る性能を示した。

ABSTRACT

In order for an autonomous robot to efficiently explore an unknown environment, it must account for uncertainty in sensor measurements, hazard assessment, localization, and motion execution. Making decisions for maximal reward in a stochastic setting requires value learning and policy construction over a belief space, i.e., probability distribution over all possible robot-world states. However, belief space planning in a large spatial environment over long temporal horizons suffers from severe computational challenges. Moreover, constructed policies must safely adapt to unexpected changes in the belief at runtime. This work proposes a scalable value learning framework, PLGRIM (Probabilistic Local and Global Reasoning on Information roadMaps), that bridges the gap between (i) local, risk-aware resiliency and (ii) global, reward-seeking mission objectives. Leveraging hierarchical belief space planners with information-rich graph structures, PLGRIM addresses large-scale exploration problems while providing locally near-optimal coverage plans. We validate our proposed framework with high-fidelity dynamic simulations in diverse environments and on physical robots in Martian-analog lava tubes.

研究の動機と目的

• 不確実性下での大規模・長時間ホライズン探索における信念空間計画の計算非効率性を解決すること。
• 自律探索における局所的リスクに配慮したレジリエンスとグローバルな報酬獲得目標の間のギャップを埋めること。
• 計画意思決定とランタイムでの信念変化を調和させる、リアルタイムで適応可能なポリシー実行を可能にすること。
• 洞窟や地下構造物など、GPS 無効な複雑な環境において、高精度で長時間ホライズンのカバレッジを実現すること。
• 火星類似環境における高精度なシミュレーションおよび物理的ロボットを用いたフレームワークの検証。

提案手法

• 信念空間を局所的およびグローバルなレベルに階層的に分解し、空間的領域分割による情報ロードマップ（IRMs）を用いて計算複雑性を管理する。
• 局所的計画は、タスク関連の空間的領域内での近似的最適でリスクに配慮したカバレッジ経路を生成するリcedeving ホライズン POMDP ソルバーを用いる。
• グローバル計画は、長時間ホライズン意思決定を支援し、グローバルな完全性を保証する高分解能の世界信念表現を維持する。
• キャスケード型 POMDP ソルバーのアーキテクチャにより、空間的・時間的スケールにわたる信念状態の近似を用いて、長時間ホライズンにおける効率的なポリシー探索を実現する。
• ランタイムの適応は、信念状態推定値とセンサデータの更新を計画意思決定と調和させるリcedeving ホライズン計画（RHP）に基づく手法によって達成される。
• IRM 構造は、環境マップ推定値と走破可能性の信念を符号化しており、効率的な信念伝搬と行動選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 計算の tractability を保ちながら、大規模な空間的範囲（1 km 以上）および長時間ホライズン（1 時間以上）における信念空間計画をどのようにスケーリングできるか？
• RQ2 階層的フレームワークにおいて、局所的リスクに配慮したポリシーとグローバルな報酬獲得目標をどのように統合できるか？
• RQ3 階層的信念表現とリcedeving ホライズン計画は、複雑で未知の環境におけるカバレッジ効率と耐障害性をどの程度向上できるか？
• RQ4 物理的ロボット実行中に発生する実世界の確率的要因と動的信念更新に対して、このフレームワークはどのように性能を示すか？
• RQ5 提案手法は、大規模でトポロジカルに複雑な環境において、短絡的フロントティアベース手法やモデルフリー強化学習手法を上回る性能を示せるか？

主な発見

• シミュレーテッド地下鉄環境では、PLGRIM は 60 分間で 95％ のカバレッジを達成し、NBV や HFE が局所的最小値に陥り非効率な迂回路を描くのを避けた。
• 複雑な迷路および洞窟シミュレーションでは、PLGRIM は危険な地形を避けてロボットの閉じ込めを防ぎ、90％を超える高いカバレッジ率を維持した。これに対して NBV は決定論的経路計画のため、機能不能に陥った。
• HFE は疎な表現によるため性能が不安定で、狭く曲がりくねった通路で最適でないフロントティア検出と、長時間にわたるバックトラッキングを経験した。
• ラバーベッド国立モニュメントでの Au-Spot を用いた実世界テストでは、PLGRIM が 60 分間で洞窟環境の 95％ をカバーし、自然で構造のない地形でも耐障害性を示した。
• フレームワークは計画エピソードとランタイムでの信念変化を効果的に調和させ、再計画の失敗や性能低下なしに適応的実行を可能にした。
• PLGRIM の階層的信念表現は、計算負荷を低減しながらも高精度な世界状態推定を維持する長時間ホライズン計画を効率的に行うことを可能にした。