[論文レビュー] MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement Learning in Mixed Dynamic Environments

Zuxin Liu, Baiming Chen+4 more|arXiv (Cornell University)|Jul 30, 2020

Robotic Path Planning Algorithms参考文献 28被引用数 12

ひとこと要約

MAPPERは、障害物の均一性を仮定しない、混合動的環境における分散型で進化的な強化学習的手法を提案する。画像ベースの障害物表現、グローバルプランナによるゴール分解、進化的な訓練スキームを用いることで、非協力的で多様な動的エージェントを伴う複雑で大規模なシナリオにおいても、99%以上の高い成功率と安定したパフォーマンスを達成する。

ABSTRACT

Multi-agent navigation in dynamic environments is of great industrial value when deploying a large scale fleet of robot to real-world applications. This paper proposes a decentralized partially observable multi-agent path planning with evolutionary reinforcement learning (MAPPER) method to learn an effective local planning policy in mixed dynamic environments. Reinforcement learning-based methods usually suffer performance degradation on long-horizon tasks with goal-conditioned sparse rewards, so we decompose the long-range navigation task into many easier sub-tasks under the guidance of a global planner, which increases agents' performance in large environments. Moreover, most existing multi-agent planning approaches assume either perfect information of the surrounding environment or homogeneity of nearby dynamic agents, which may not hold in practice. Our approach models dynamic obstacles' behavior with an image-based representation and trains a policy in mixed dynamic environments without homogeneity assumption. To ensure multi-agent training stability and performance, we propose an evolutionary training approach that can be easily scaled to large and complex environments. Experiments show that MAPPER is able to achieve higher success rates and more stable performance when exposed to a large number of non-cooperative dynamic obstacles compared with traditional reaction-based planner LRA* and the state-of-the-art learning-based method.

研究の動機と目的

• 大規模で混合動的環境において、非協力的かつ異種の障害物を伴う分散型マルチエージェントパスプランニングの課題に取り組む。
• 長時間スパンで報酬が疎であるナビゲーションタスクにおける強化学習の限界を克服するため、長距離ゴールをウェイポイント条件付きの部分タスクに分解する。
• 動的エージェントの正確な情報や均一な運動モデルに依存しないようにするため、画像ベースの空間的・時間的表現によって障害物行動をモデリングする。
• 低パフォーマンスのポリシーを段階的に削除する進化的な強化学習フレームワークを用いることで、大規模マルチエージェントシステムにおける訓練の安定性とスケーラビリティを確保する。
• 複雑で現実に近いシナリオにおいて、従来の反応型プランナーや最先端の学習ベース手法よりも優れたパフォーマンスを達成する。

提案手法

• 相対的位置と速度の2次元グリッドを用いて、動的障害物の画像ベースの空間的・時間的表現を採用し、明示的な運動モデルなしに多様な障害物行動の一般化を可能にする。
• グローバルプランナを用いて長距離ナビゲーションを複数のウェイポイント条件付き部分タスクに分解し、強化学習ポリシーの性能とサンプル効率を向上させる。
• グローバルプランナを統合し、参照パスとウェイポイントを生成することで、ローカルポリシーが遠方のゴールに向かう進行を維持しつつ、局所的な相互作用にも対応できるようにする。
• ポリシーの集合を維持し、パフォーマンスを評価し、低パフォーマンスのポリシーを段階的に置き換える進化的な訓練戦略を実装することで、訓練の安定性と収束性を向上させる。
• ウェイポイントへの距離に起因する密集報酬とゴール到達に起因する疎な密集報酬を用いて、エンドツーエンドでローカルポリシーを深層強化学習で訓練する。
• 環境の複雑さを段階的に増加させるカリキュラム学習アプローチを採用する：小規模なマップと少数のエージェントから始め、大規模なマップと高密度の障害物へとスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 分散型で部分観測可能なマルチエージェント強化学習手法は、非協力的かつ異種の動的障害物を伴う大規模で複雑な環境において、高い成功率を達成できるか？
• RQ2 長時間スパンのナビゲーションをウェイポイント条件付き部分タスクに分解することで、マルチエージェントパスプランニングにおける深層強化学習のサンプル効率とパフォーマンスが顕著に向上するか？
• RQ3 画像ベースの障害物表現は、運動の均一性を仮定せず、明示的な運動推定なしに多様な動的障害物行動を効果的にモデリングできるか？
• RQ4 提案された進化的な訓練フレームワークは、大規模マルチエージェントシステムにおける収束安定性とスケーラビリティの面で、標準的な集中型訓練手法を上回るか？
• RQ5 MAPPER手法は、エージェント数や動的障害物の数が異なる環境に、LRA* や PRIMAL* と比較してどのように一般化するか？

主な発見

• MAPPERは、10体のエージェントと10体の動的障害物を伴う多様なシミュレーション環境において、ゴールのサンプリング範囲を65×65グリッドに拡大しても、成功率が常に0.99以上を維持する。
• グローバルプランナのガイダンスなしのMAPPERバージョンでは、ゴール距離が長くなるにつれて顕著なパフォーマンス低下を示し、ウェイポイント条件付き部分タスク分解の重要性が裏付けられる。
• 動的障害物の軌道表現なしのMAPPERバージョンは、高密度障害物環境で著しくパフォーマンスが劣り、画像ベースの障害物モデリングが複雑な相互作用に対処する上で不可欠であることが確認される。
• MAPPERは訓練中における報酬の収束が最も安定し、変動が最小限に抑えられ、PRIMAL* や LRA* と比較して訓練の安定性と最終パフォーマンスの両面で優れている。
• 高密度な動的障害物環境では、MAPPERエージェントはブロックされた経路を避けるために積極的に再プランニングと操舵を実行するが、LRA* は完全なエージェント意図情報と集中型の衝突解決に依存しているため失敗する。
• 進化的な訓練アプローチにより、大規模で複雑な環境でも安定的かつスケーラブルに訓練が可能となり、4体のエージェントから20体のエージェントと30体の動的障害物にスケーリングしても正常に収束する。