[論文レビュー] Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning

Binyu Wang, Zhe Liu+2 more|arXiv (Cornell University)|May 11, 2020

Reinforcement Learning in Robotics参考文献 22被引用数 15

ひとこと要約

本稿では、動的環境における移動型ロボットの経路計画のためのグローバルにガイドされた強化学習フレームワーク、G2RLを提案する。固定されたグローバルパス（例：A*によるもの）と、密度の高い環境に依存しない報酬を用いる局所的ディープQネットワークを統合することで、スケーラブルで分散的かつ汎用的なナビゲーションを実現する。G2RLは、グローバルな経路情報が不要であるにもかかわらず、既存の分散型手法を上回り、中央集権的なベンチマークと同等の性能を、マルチロボット環境で達成する。

ABSTRACT

Path planning for mobile robots in large dynamic environments is a challenging problem, as the robots are required to efficiently reach their given goals while simultaneously avoiding potential conflicts with other robots or dynamic objects. In the presence of dynamic obstacles, traditional solutions usually employ re-planning strategies, which re-call a planning algorithm to search for an alternative path whenever the robot encounters a conflict. However, such re-planning strategies often cause unnecessary detours. To address this issue, we propose a learning-based technique that exploits environmental spatio-temporal information. Different from existing learning-based methods, we introduce a globally guided reinforcement learning approach (G2RL), which incorporates a novel reward structure that generalizes to arbitrary environments. We apply G2RL to solve the multi-robot path planning problem in a fully distributed reactive manner. We evaluate our method across different map types, obstacle densities, and the number of robots. Experimental results show that G2RL generalizes well, outperforming existing distributed methods, and performing very similarly to fully centralized state-of-the-art benchmarks.

研究の動機と目的

• 従来の再計画法および学習ベースの手法が、動的で大規模な環境において抱える限界を解消すること。
• ロボット経路計画における深層強化学習における報酬の疎らさと一般化性能の低さを克服すること。
• グローバルな経路情報が不要な、スケーラブルで完全に分散型のマルチロボット経路計画を実現すること。
• 多様な環境で普遍的に学習可能な報酬構造を構築すること。

提案手法

• 本手法は階層的フレームワークを採用する：グローバルパス（例：A*によるもの）が固定されたガイドラインを提供し、局所的DQNエージェントが局所的観測に基づいて行動を学習する。
• 近接度とゴールへの進行度を組み合わせた、新規の報酬関数が、密度の高い環境に依存しない報酬を提供する。
• 局所的RLエージェントは、静的および動的障害物を含む局所的な視野を観測することで、リアルタイムでの衝突回避を可能にする。
• 本手法は完全に分散型である。ロボット同士は通信も経路情報も共有せず、ロボット数に比例して線形にスケーラブルである。
• 同じ単一ロボットで学習したモデルを、再訓練なしにマルチロボット環境に直接適用可能である。
• 本手法は、マップの種別、障害物密度、ロボット数の変動に対しても、アーキテクチャや報酬関数の変更なしに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのアプローチは、再訓練なしに多様で未知の環境に一般化可能か？
• RQ2 グローバルにガイドされた強化学習は、再計画法や他の分散型強化学習手法と比較して、動的でマルチロボット経路計画においてどのように性能を発揮するか？
• RQ3 固定サイズのモデルは、大規模環境において中央集権的で全知識を持つプランナと同等の性能を達成可能か？
• RQ4 密度の高い環境に依存しない報酬関数は、報酬が疎らなナビゲーションタスクにおけるサンプル効率と一般化性能を向上させるか？

主な発見

• G2RLは、全テストマップタイプおよび障害物密度において、局所的およびグローバルな再計画法を成功確率およびフローチャンタイムの観点で上回る。
• マルチロボット経路計画において、G2RLは、全ロボットの経路情報を完全に把握している中央集権的プランナ（ECBSおよびHCA*）と同等の成功確率を達成する。
• G2RLは、混雑で複雑な環境において、Discrete-ORCAおよびPRIMALを上回り、特にPRIMALが失敗するデッドロック状態を効果的に回避する。
• 本手法は、40×40マップに最大128台のロボットを配置し、静的障害物密度（0.15～0.45）が変動する状況においても、一貫した性能を維持する。
• ステップごとの計算時間は正規化されており、PRIMALおよびDiscrete-ORCAと同等であり、特に高密度状況下で優れたロバストネスを示す。
• 本手法は効果的な一般化を実現する：単一ロボットで学習したモデルを、微調整やアーキテクチャの変更なしにマルチロボット環境に直接適用可能である。