[論文レビュー] Distributed Heuristic Multi-Agent Path Finding with Communication

Ziyuan Ma, Yudong Luo+1 more|arXiv (Cornell University)|Jun 21, 2021

Reinforcement Learning in Robotics参考文献 38被引用数 6

ひとこと要約

本稿では、通信を伴う分散型ヒューリスティック多エージェント経路探索（DHC）を提案する。これは、すべての可能な最短経路からのヒューリスティックガイダンスとグラフ畳み込み通信を用いた深層Qラーニング手法であり、中央集権的計画や制限的な仮定に依存せずに、分散的でスケーラブルかつ協調的な多エージェント経路探索を可能にする。本手法は、中央集権的計画を必要とせず、制限のない仮定のもとで、合理的な経路選択と協調行動を学習することで、スパarsな環境および混雑した環境の両方で高い成功確率と低い平均ステップ数を達成する。

ABSTRACT

Multi-Agent Path Finding (MAPF) is essential to large-scale robotic systems. Recent methods have applied reinforcement learning (RL) to learn decentralized polices in partially observable environments. A fundamental challenge of obtaining collision-free policy is that agents need to learn cooperation to handle congested situations. This paper combines communication with deep Q-learning to provide a novel learning based method for MAPF, where agents achieve cooperation via graph convolution. To guide RL algorithm on long-horizon goal-oriented tasks, we embed the potential choices of shortest paths from single source as heuristic guidance instead of using a specific path as in most existing works. Our method treats each agent independently and trains the model from a single agent's perspective. The final trained policy is applied to each agent for decentralized execution. The whole system is distributed during training and is trained under a curriculum learning strategy. Empirical evaluation in obstacle-rich environment indicates the high success rate with low average step of our method.

研究の動機と目的

• 同時移動を伴う大規模で部分観測可能な多エージェント環境において、衝突のない協調的方策を学習する課題に対処すること。
• すべての最短経路からのヒューリスティックガイダンスを組み込むことで、長時間スケールのゴール指向タスクにおける深層強化学習の一般化性とスケーラビリティを向上させること。
• グラフ畳み込みを用いた分散型通信により、混雑した環境におけるエージェント間の効果的な協調を可能とすること。
• 共同行動価値学習を必要とせず、1つのエージェントごとに1つの再利用可能な方策を学習し、多数のエージェントにスケーリングできること。
• サンプル効率性と収束性を向上させるために、分散型かつカリキュラムベースのトレーニングフレームワークを開発すること。

提案手法

• 各エージェントの観測には、障害物の位置、周辺のエージェントの位置、予測されたゴール位置、およびエージェント自身のゴールが含まれる。
• ヒューリスティックガイダンスは、エージェントの出発地からゴールへのすべての可能な最短経路をチャネルとして埋め込み、自己学習による合理的な経路選択を可能にする。
• マルチヘッドアテンションを用いたグラフ畳み込みにより、エージェント間の関係性をモデル化し、隣接エージェント間の通信を可能にする。
• トレーニングは、カリキュラム学習を組み合わせた分散型Ape-Xフレームワークを用い、エージェントは単一エージェントの視点から独立して学習される。
• 推論時には、すべてのエージェントが同じ分散型方策を実行し、同時に移動し、ゴールに到達後も環境に残留する。
• 中央集権的計画を避けており、単一経路形状やエキスパートデモンストレーションに依存しない。これにより、一般化性が向上する。

実験結果

リサーチクエスチョン

• RQ1 すべての可能な最短経路からのヒューリスティックガイダンスは、長時間スケールの多エージェント経路探索におけるサンプル効率性と性能を向上させるか？
• RQ2 グラフ畳み込みによる分散型通信は、密集した多エージェント環境における協調性を高め、衝突を低減するか？
• RQ3 共同行動価値学習を必要としない1エージェント学習方策は、共同行動価値学習なしに大規模で分散型の多エージェントシステムに効果的に一般化できるか？
• RQ4 ヒューリスティックガイダンスと通信の組み合わせは、スパarsな環境と混雑した環境の両方で、成功確率と経路効率にどのように影響を与えるか？
• RQ5 カリキュラム学習と分散型トレーニングは、大規模な多エージェント経路探索タスクにおける収束性とスケーラビリティをどの程度向上させるか？

主な発見

• 64体のエージェントと30％の障害物密度を有する40×40のマップでは、DHCは92.5％の成功確率、平均163.50ステップを達成し、PRIMAL（170.48ステップ）およびベースライン（170.48ステップ）を顕著に上回った。
• 128体のエージェントと30％の障害物密度を有する80×80のマップでは、DHCは91.2％の成功確率、平均163.50ステップを達成した。一方、PRIMALは321.63ステップを要し、DHCの優れたスケーラビリティと効率性が示された。
• アブレーションスタディの結果、ヒューリスティックガイダンスを除去すると、長時間スケールタスクにおいて性能が著しく低下した。これは、経路選択をガイドする上でヒューリスティックガイダンスが極めて重要な役割を果たしていることを確認した。
• 通信部（グラフ畳み込み）により、タイトな環境（例：40×40マップに64体のエージェント）では成功確率が最大20％向上した。これは、協調性向上に有効であることを示している。
• DHCは40×40マップから80×80マップへのスケーリングに134.42ステップを要したが、PRIMALは250.07ステップを要した。128体のエージェントにおいて、DHCはPRIMALよりも大きな環境への一般化性に優れていることが示された。
• DHC/Commバージョン（通信なし）は、密集したシナリオで著しく性能が低かった。これは、通信が混雑状況の処理とデッドロック回避に不可欠であることを確認した。