[論文レビュー] POGEMA: Partially Observable Grid Environment for Multiple Agents

Alexey Skrynnik, Anton Andreychuk+2 more|arXiv (Cornell University)|Jun 22, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

POGEMA は、部分的に観測可能なマルチエージェント経路計画（PO-MAPF）問題のベンチマークに適した高速でスケーラブルかつカスタマイズ可能なグリッドワールド環境であり、計画法および強化学習手法の効率的なテストを可能にする。中央集権的および分散型のポリシーをサポートしており、複雑で高密度なシナリオにおいてハイブリッド計画・学習アプローチが純粋なベースラインを上回ることを示している。

ABSTRACT

We introduce POGEMA (https://github.com/AIRI-Institute/pogema) a sandbox for challenging partially observable multi-agent pathfinding (PO-MAPF) problems . This is a grid-based environment that was specifically designed to be a flexible, tunable and scalable benchmark. It can be tailored to a variety of PO-MAPF, which can serve as an excellent testing ground for planning and learning methods, and their combination, which will allow us to move towards filling the gap between AI planning and learning.

研究の動機と目的

• AI計画法と強化学習の間のギャップを埋めるために、部分的に観測可能なマルチエージェント経路計画（PO-MAPF）のための柔軟なベンチマークを提供すること。
• 分散型で部分的に観測可能な環境において、ハイブリッド計画法および学習法の迅速なプロトタイピングと評価を可能にすること。
• カスタマイズ可能なマップ設定を備えたグリッドベースでエゴセントリックな観測構成を用いて、強化学習エージェントのスケーラブルで高速なトレーニングを支援すること。
• 標準化されたオープンソースプラットフォームを提供し、主要な強化学習フレームワークとのインターフェースと組み込みベースラインを備えることで、マルチエージェント意思決定分野の研究を加速すること。
• プロシージャルに生成されたマップを用いて、エージェント密度や観測半径を変化させることで、一般化およびトランスファーラーニングを促進すること。

提案手法

• POGEMA は、自由セルとブロックセルを持つ4近傍接続グリッドワールドであり、エージェントはユーザーが定義したエゴセントリックな観測パッチ（例：11×11の視野）により部分的観測下で動作する。
• 各エージェントはユーザーが定義したポリシーに従い、自らの局所的観測に基づいて行動を選択し、隣接セルへの移動または待機が可能であり、衝突が生じない場合にのみ行動が適用される。
• 環境は計画ベースのベースライン（例：ヒューリスティックを用いたA*に基づく再計画）と、SampleFactory や PyMARL などの強化学習フレームワークとの統合による学習可能ポリシーを両方サポートする。
• 深層ニューラルネットワークに基づく価値関数およびポリシー近似器のトレーニングを高速に実行できるため、高サンプル効率（最大83,000 FPS）を実現しており、マルチエージェント環境でも有効である。
• 文字列またはYAML形式でカスタムマップを定義でき、グリッドサイズ、障害物密度、エージェント数、観測半径、エピソード長などのパラメータをカスタマイズ可能である。
• エージェント密度に基づいて4段階の難易度（簡単から超難易度まで）を備え、全レベルで一貫した観測半径（R=5）を採用している。

実験結果

リサーチクエスチョン

• RQ1 エージェント密度や観測制約が変化する条件下で、ヒューリスティック探索に基づく計画法は PO-MAPF 問題をどの程度効果的に解けるか？
• RQ2 APPO や QMIX などの深層強化学習手法は、高密度で部分的に観測可能な環境において、複雑な PO-MAPF タスクをどの程度解けるか？
• RQ3 協調行動を要する PO-MAPF シナリオにおいて、中央集権的と分散型のマルチエージェント強化学習（MARL）アルゴリズムの性能はどのように比較されるか？
• RQ4 POGEMA のプロシージャル生成マップは、マルチエージェント経路計画ポリシーの一般化およびトランスファーラーニングをサポートできるか？
• RQ5 マップサイズとエージェント密度の増加が、計画法および学習ベースの PO-MAPF 解決法のスケーラビリティとパフォーマンスに与える影響は何か？

主な発見

• A*に基づく再計画と一時的な改善（例：目的指向移動や振動を検出した際の待機行動）を組み合わせた計画ベースのベースラインは、特に低密度環境において一部の PO-MAPF インスタンスを正常に解消できた。
• 8×8 の超難易度設定において、QMIX や VDN といった中央集権的 MARL アルゴリズムが分散型 IQL よりも優れた性能を示し、高密度環境では協調行動の重要性が浮き彫りになった。
• 1台のGPUで32×32の超難易度マップ（1エピソードあたり128エージェント）に対してAPPOをトレーニングした結果、数時間で収束した。これは、高いスケーラビリティと効率性を示している。
• エージェント密度とマップサイズの増加に伴いパフォーマンスが著しく低下し、複雑なシナリオでは経路探索と衝突回避の両方の重要性が強調された。
• 単エージェントモードでは最大83,000 FPSを達成し、マルチエージェント環境でも高い効率性を維持しており、強化学習および計画法研究における迅速なイテレーションを可能にしている。
• POGEMA のプロシージャル生成とカスタマイズ可能な設定により、一般化が強く保証され、マルチエージェントシステムにおけるトランスファーラーニングおよびゼロショット一般化の評価に適している。