[論文レビュー] Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning

Himanshu Gupta, Bradley Hayes+1 more|arXiv (Cornell University)|Jun 20, 2022

Evacuation and Crowd Dynamics被引用数 6

ひとこと要約

本論文は、複数クエリの運動計画（例：PRM、Fast Marching）をロールアウト方策として用いることで、より広い状態空間を効率的に探索する、拡張空間部分的に観測可能なマルコフ意思決定過程（POMDP）プランナを提案する。この手法は、特に長時間計画ホライズンと高密度な歩行者環境において、先行手法に比べてはるかに安全かつ効率的な軌道を達成する。

ABSTRACT

This paper presents a hybrid online Partially Observable Markov Decision Process (POMDP) planning system that addresses the problem of autonomous navigation in the presence of multi-modal uncertainty introduced by other agents in the environment. As a particular example, we consider the problem of autonomous navigation in dense crowds of pedestrians and among obstacles. Popular approaches to this problem first generate a path using a complete planner (e.g., Hybrid A*) with ad-hoc assumptions about uncertainty, then use online tree-based POMDP solvers to reason about uncertainty with control over a limited aspect of the problem (i.e. speed along the path). We present a more capable and responsive real-time approach enabling the POMDP planner to control more degrees of freedom (e.g., both speed AND heading) to achieve more flexible and efficient solutions. This modification greatly extends the region of the state space that the POMDP planner must reason over, significantly increasing the importance of finding effective roll-out policies within the limited computational budget that real time control affords. Our key insight is to use multi-query motion planning techniques (e.g., Probabilistic Roadmaps or Fast Marching Method) as priors for rapidly generating efficient roll-out policies for every state that the POMDP planning tree might reach during its limited horizon search. Our proposed approach generates trajectories that are safe and significantly more efficient than the previous approach, even in densely crowded dynamic environments with long planning horizons.

研究の動機と目的

• 事前計算された経路に沿って速度のみを制御するという制限がある先行POMDPベースのナビゲーションシステムの限界を解消すること。
• 動的で不確実な環境（例：高密度な歩行者群）において、リアルタイムで意図認識型ナビゲーションを可能にすること。
• POMDPの行動空間を速度とヘディングの両方を含めるように拡張し、計画の柔軟性と解の質を向上させること。
• タイトな計算制約下で拡張された状態空間と行動空間に対する効率的なロールアウト方策を開発すること。
• ホロノミックおよび非ホロノミック車両を含む、複雑で高密度なシナリオにおいて、手法を評価すること。

提案手法

• 本システムは、固定経路に沿った速度制御にとどまらず、速度とヘディングの両方を制御可能なオンラインPOMDPプランナを用いる。
• スパースツリーに基づくPOMDPソルバ（例：DESPOT）を採用し、ロールアウト方策からの価値推定に従ってオンラインでツリー探索を行う。
• 効果的で効率的なロールアウト方策を生成するために、複数クエリの運動計画技術（確率的ロードマップ（PRM）およびファストマーチング法）を用いる。
• ロールアウト方策は環境全体に対して事前に計算され、限られたホライズンにおけるツリー探索中に将来の報酬を推定するために使用され、はるかに広い到達可能な状態空間の探索を可能にする。
• 歩行者の行動を部分的に観測可能で多様なモードを持つものとして扱うことで、意図認識型モデリングを統合し、予測精度を向上させる。
• 非ホロノミック車両（例：デュビンスカー）の場合、ファストマーチングスクエア法により生成された経路を基に、障害物を避けるためにリアクティブコントローラーを適用してロールアウト方策を適応させる。

実験結果

リサーチクエスチョン

• RQ1 POMDPの行動空間を速度とヘディングの両方へ拡張することで、混雑した環境におけるナビゲーションの効率性と安全性が向上するか？
• RQ2 複数クエリの運動計画技術（例：PRM、ファストマーチング）が、リアルタイムPOMDP計画における広大で拡張された状態空間の効率的探索を可能にするロールアウト方策としてどれほど有効か？
• RQ3 提案手法は、ヘディングと速度の制御を分離するベースライン手法に比べ、高密度な歩行者環境で優れた性能を示すか？
• RQ4 歩行者密度と計画ホライズンの増加に伴い、拡張空間POMDPプランナの性能はどのように変化するか？
• RQ5 運動計画技術の選択（PRM対ファストマーチング）が、最終的な軌道品質と計算効率にどの程度の影響を及ぼすか？

主な発見

• すべての歩行者密度において、ベースラインLSプランナーよりも著しく短い移動時間を達成した拡張空間POMDPプランナ（ES）は、特に高速度（例：4 m/s）条件下で95％の成功率を示した。
• 高密度環境では、ESプランナはLSプランナに比べて36％の停止・待機（SB）行動を削減した。これは、8つのヘディング選択から36に増加したことで、より高い機動性が得られたためである。
• ESプランナは、複雑な歩行者ダイナミクスと長いホライズンを持つ状況でも、LSプランナーよりも安全で効率的な軌道を生成した。
• ロールアウト方策としてのPRMとファストマーチングの選択は、性能にほとんど影響を与えず、基礎となる運動計画手法に頑健であることを示した。
• 非ホロノミック車両においても、ESプランナはヘディング選択数が少ない（19対36）にもかかわらず、LSプランナーよりも移動時間を短縮し、SB行動を削減した。これは、速度とヘディングの統合的制御によるものである。
• 結果から、複数クエリの運動計画から得られる効果的なロールアウト方策が、高次元の行動空間におけるスケーラブルでリアルタイムのPOMDP計画を可能にする上で極めて重要であることが示された。