[論文レビュー] Obstacle-aware Waypoint Generation for Long-range Guidance of Deep-Reinforcement-Learning-based Navigation Approaches

Linh Kästner, Xinlin Zhao+2 more|arXiv (Cornell University)|Sep 23, 2021

Robotic Path Planning Algorithms参考文献 24被引用数 4

ひとこと要約

本稿では、時間的デローニー三角形分割を用いた障害物認識型ウェイポイント生成と、状態時間空間における拡張ハイブリッドA*探索を組み合わせた階層的ナビゲーションシステムを提案する。このシステムは、長距離で動的環境下におけるDRLベースのローカルプランナを効果的に導く。本手法は、障害物速度が0.3–0.5 m/sの条件下で100%の成功率を達成し、衝突率も著しく低減（11–10回）された。ベースラインのサブゴール手法に比べ、安全性、耐障害性、効率性の面で優れている。

ABSTRACT

Navigation of mobile robots within crowded environments is an essential task in various use cases, such as delivery, health care, or logistics. Deep Reinforcement Learning (DRL) emerged as an alternative method to replace overly conservative approaches and promises more efficient and flexible navigation. However, Deep Reinforcement Learning is limited to local navigation due to its myopic nature. Previous research works proposed various ways to combine Deep Reinforcement Learning with conventional methods but a common problem is the complexity of highly dynamic environments due to the unpredictability of humans and other objects within the environment. In this paper, we propose a hierarchical waypoint generator, which considers moving obstacles and thus generates safer and more robust waypoints for Deep-Reinforcement-Learning-based local planners. Therefore, we utilize Delaunay Triangulation to encode obstacles and incorporate an extended hybrid A-Star approach to efficiently search for an optimal solution in the time-state space. We compared our waypoint generator against two baseline approaches and outperform them in terms of safety, efficiency, and robustness.

研究の動機と目的

• 長距離ナビゲーションにおけるDRLベースのローカルプランナの視野狭窄性を解消するため、頑健で動的なグローバルガイダンスを提供すること。
• 動的障害物が多数存在する環境において、静的グローバルパスが素早く無効化される状況での安全性と効率性を向上させること。
• 頻繁なグローバル再計画に依存しないようにするため、障害物に配慮した適応的で時間的に有効なサブゴールを生成すること。
• モデルベースの計画とDRLローカル計画を階層的フレームワークで統合し、グローバルな認識とローカルな適応性のバランスを取ること。
• 成功率、衝突回数、計算効率の観点から、提案手法のウェイポイント生成器をベースライン手法と比較して評価すること。

提案手法

• 時間的デローニー三角形分割を用いて、状態時間空間に動的障害物を効率的に表現する。
• 拡張ハイブリッドA*探索アルゴリズムを採用し、動的障害物の位置と速度を考慮した時間状態空間における近似的最適経路を計算する。
• ESDFフリーの勾配ベースの経路最適化（EGO）を適用し、初期経路を精緻化することで滑らかで衝突のない運動を保証する。
• DRLローカルプランナのためのサブゴールとして、最適化された経路から得られるスパarsなランドマークウェイポイントを生成する。
• 中間レベルのプランナをDRLベースのローカルプランナと統合し、ウェイポイントを短期的目標として設定することで、DRLの視野狭窄性を緩和する。
• ランドマークベースのウェイポイント選択戦略を採用し、グローバル再計画の計算コストを低減し、大規模環境におけるスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 障害物認識型ウェイポイント生成は、高動的環境下におけるDRLベースナビゲーションの安全性と耐障害性を向上させることができるか？
• RQ2 状態時間空間で動的障害物を考慮することで、長距離ナビゲーションの成功率と衝突率にどのような影響が生じるか？
• RQ3 提案手法は、ベースライン手法と比較して、どの程度頻繁なグローバル再計画に依存しなくなるか？
• RQ4 効率性と耐障害性の観点から、提案手法のウェイポイント生成器は、静的およびサブサンプリングされたウェイポイント手法と比べてどの程度優れているか？
• RQ5 モデルベースのグローバルガイダンスとDRLローカル計画の統合により、複雑で動的変化の激しい環境でも、より高い成功率を達成できるか？

主な発見

• 提案手法であるST-WPは、20個の障害物と0.3 m/sおよび0.5 m/sの速度条件下で100%の成功率を達成した。これは、SH-WP（60%以上）とSUB-WP（35%以上）を著しく上回った。
• 障害物速度が0.5 m/sのとき、SH-WPとSUB-WPの成功率はそれぞれ50%以上、10%以上に低下したが、ST-WPは100%の成功率を維持した。
• ST-WPは0.3 m/sで11回、0.5 m/sで10回未満の衝突を記録した。一方、両方のベースライン手法では25回以上を記録した。
• ST-WPはベースライン手法と比較してわずかに高い効率性を示した。SUB-WPは、すべてのサブゴールを再走行する冗長性のため、最も非効率であった。
• ST-WPは、障害物速度が高くなっても、安定的で直線的な経路を維持した。一方、SH-WPとSUB-WPは、特に11,11座標付近で回り道する経路を生成した。
• 状態時間空間における動的障害物のモデリングにより、障害物の予測不可能性が高くても、経路の有効性と安全性を維持できた。