[論文レビュー] A review of mobile robot motion planning methods: from classical motion planning workflows to reinforcement learning-based architectures

Dong, Lu, Zichen He+2 more|arXiv (Cornell University)|Aug 31, 2021

Robotic Path Planning Algorithms参考文献 140被引用数 9

ひとこと要約

本稿は、モバイルロボットの運動計画について、古典的な階層的アプローチと現代の強化学習（RL）ベースの手法を比較して包括的なレビューを提供している。深層強化学習が、マップに依存しないエンド・ツー・エンドの計画を可能にし、グローバル計画とローカル計画を統合することで、動的環境における適応性を向上させることを強調している一方で、報酬の疎らさやサンプル効率性といった主な課題も特定している。

ABSTRACT

Motion planning is critical to realize the autonomous operation of mobile robots. As the complexity and randomness of robot application scenarios increase, the planning capability of the classical hierarchical motion planners is challenged. With the development of machine learning, deep reinforcement learning (DRL)-based motion planner has gradually become a research hotspot due to its several advantageous features. DRL-based motion planner is model-free and does not rely on the prior structured map. Most importantly, DRL-based motion planner achieves the unification of the global planner and the local planner. In this paper, we provide a systematic review of various motion planning methods. First, we summarize the representative and state-of-the-art works for each submodule of the classical motion planning architecture and analyze their performance features. Subsequently, we concentrate on summarizing RL-based motion planning approaches, including motion planners combined with RL improvements, map-free RL-based motion planners, and multi-robot cooperative planning methods. Last but not least, we analyze the urgent challenges faced by these mainstream RL-based motion planners in detail, review some state-of-the-art works for these issues, and propose suggestions for future research.

研究の動機と目的

• 複雑で動的な環境における古典的手法の運動計画ワークフローとその限界を体系的に分析すること。
• 強化学習ベースの運動計画分野における最近の進展をレビューすること、特にマップフリーなエンド・ツー・エンド学習とマルチロボット協調計画を含む。
• 強化学習ベースの計画者に適用する際の主な課題、例えば報酬の疎らさ、サンプル効率性、現実とのギャップを特定すること。
• 強化学習ベースの計画者の一般化性、耐障害性、実世界への展開性を向上させるための今後の研究方向性を提案すること。

提案手法

• 古典的手法の運動計画をグローバル計画者とローカル計画者に分類し、A*、RRT、DWAといった代表的なアルゴリズムを分析する。
• 強化学習ベースの運動計画手法をレビューし、古典的手法を最適化するためのRLを統合するハイブリッド手法と、完全にエンド・ツー・エンドでマップフリーな計画者を含む。
• 視覚、言語、センサデータを統合するためのマルチモーダルRLを検討し、計画性能の向上を図る。
• パス長、安全性、エネルギー効率といった複数の目的を統合されたポリシー学習を通じてバランスよく最適化するためのマルチタスクRLを検討する。
• 教示による学習や人間のフィードバック統合を含む、人間を含めた強化学習のアプローチを検討し、相互作用性の向上を図る。
• 3次元環境における、集中型コントローラーと分散型アクトアを用いたマルチエージェント強化学習（MARL）を用いた、マルチハイブリッドおよびマルチロボットフォーメーション計画を分析する。

実験結果

リサーチクエスチョン

• RQ1 構造的かつ動的環境において、古典的手法の運動計画ワークフローは、性能と適応性の観点でどのように比較されるか？
• RQ2 事前にマップや階層的分解に依存せずに、強化学習が運動計画をどのように向上させられるか？
• RQ3 報酬の疎らさやサンプル効率性といった、実世界での強化学習ベース計画者の展開を制限する主な課題は何か？
• RQ4 マルチタスクおよびマルチモーダル学習は、エンド・ツー・エンドの強化学習ベース計画者の一般化性と耐障害性をどのように向上させるか？
• RQ5 人間を含めたインタラクションとマルチロボット協調は、リアルタイムで適応可能な運動計画の発展にどのような役割を果たすか？

主な発見

• 強化学習ベースの運動計画者は、グローバル計画とローカル計画を統合することでエンド・ツー・エンドの計画を実現し、別個の階層的モジュールの必要性を排除する。
• マップフリーな強化学習ベースの計画者では、リアルタイムでのマップ作成が非現実的である未構造的かつ動的環境における適応性が向上する。
• マルチモーダルRLにより、視覚的および言語的入力を統合することで、指示に従う複雑なタスクにおける計画性能が向上する。
• マルチタスクRLにより、共通のポリシー学習を通じてパス長、安全性、エネルギー効率といった複数の目的をバランスよく最適化できる。
• 人間を含めたアプローチ、特に教示による学習を含むものは、予測不能な環境における反応性と適応性を向上させる。
• マルチハイブリッドおよびマルチロボットフォーメーション計画において、MARLを用いることで、事前のマップなしに動的タスク割り当てと共同意思決定が可能になる。