[論文レビュー] Scalable Anytime Planning for Multi-Agent MDPs

Shushman Choudhury, Jayesh K. Gupta+2 more|arXiv (Cornell University)|Jan 12, 2021

Artificial Intelligence in Games参考文献 41被引用数 8

ひとこと要約

本稿では、反復的Max-Plusによる行動連携を正確な変数消去（Var-El）の代わりに用いることで、動的連携グラフを可能にし、計算量を著しく削減する、スケーラブルな任意時刻計画アルゴリズムであるFactored Value MCTS with Max-Plus（FV-MCTS-MP）を提案する。この手法は、静的連携グラフにおいてもベースラインと同等または優れた性能を達成し、48ドローン配送タスクなど、従来では扱えなかった大規模な動的連携グラフ問題へもスケーリング可能である。

ABSTRACT

We present a scalable tree search planning algorithm for large multi-agent sequential decision problems that require dynamic collaboration. Teams of agents need to coordinate decisions in many domains, but naive approaches fail due to the exponential growth of the joint action space with the number of agents. We circumvent this complexity through an anytime approach that allows us to trade computation for approximation quality and also dynamically coordinate actions. Our algorithm comprises three elements: online planning with Monte Carlo Tree Search (MCTS), factored representations of local agent interactions with coordination graphs, and the iterative Max-Plus method for joint action selection. We evaluate our approach on the benchmark SysAdmin domain with static coordination graphs and achieve comparable performance with much lower computation cost than our MCTS baselines. We also introduce a multi-drone delivery domain with dynamic, i.e., state-dependent coordination graphs, and demonstrate how our approach scales to large problems on this domain that are intractable for other MCTS methods. We provide an open-source implementation of our algorithm at https://github.com/JuliaPOMDP/FactoredValueMCTS.jl.

研究の動機と目的

• エージェント数の増加に伴い指数関数的に増大する連携行動空間に対応するマルチエージェントMDPにおけるスケーラビリティの課題に取り組む。
• モンテカルロ木探索（MCTS）における正確な連携手法（変数消去：Var-El）の限界を克服する。Var-Elは任意時刻の性質を欠き、動的連携グラフに対応できない。
• 正確なVar-Elの代わりに反復的Max-Plusを用いることで、状態依存の連携グラフをサポートする効率的で任意時刻の計画を実現する。
• 標準的（SysAdmin）および新規（マルチドローン配送）のMMDPドメインにおいて、従来のMCTSバージョンが処理不能であった大規模な問題を含め、スケーラビリティと性能を実証する。
• 再現性およびスケーラブルなマルチエージェント計画分野におけるさらなる研究を支援するため、実用的でオープンソースの実装を提供する。

提案手法

• Factored Value MCTSフレームワークに、連携行動選択の反復的近似手法であるMax-Plusを統合し、正確な変数消去（Var-El）の代わりに用いる。
• 連携グラフを介した要因分解表現を用いてエージェント間の局所的相互作用をモデル化し、連携価値推定の計算負荷を低減する。
• モンテカルロ木探索（MCTS）をオンライン計画に適用し、リアルタイムで有望な連携行動シーケンスを探索することで、任意時刻の動作を実現する。
• 各意思決定ステップで状態依存の連携グラフを動的に構築する。エッジは、距離閾値内にいるエージェント間、または同じ目的領域に割り当てられたエージェント間のみに追加される。
• Max-Plusの反復的性質を活かし、計算時間と解の品質のトレードオフを許容することで、任意時刻計画を可能にする。
• JuliaPOMDP/FactoredValueMCTS.jlにアルゴリズムを実装し、効率的で分散実行可能な環境を提供し、大規模MMDP問題の対処を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Max-Plusは、動的連携グラフを伴うマルチエージェントMDPにおける任意時刻計画を可能にするFactored Value MCTSに効果的に統合可能か？
• RQ2 静的連携グラフベンチマークにおいて、FV-MCTS-MPはFV-MCTS-Var-Elと比較して性能および計算効率で優れているか？
• RQ3 FV-MCTS-MPは、従来のMCTSベースの手法では処理不能な大規模なマルチエージェント問題（動的連携グラフ）にスケーリング可能か？
• RQ4 静的または固定グラフと比較して、動的連携グラフは計画性能およびメモリ使用量にどのような影響を与えるか？
• RQ5 FV-MCTS-MPは、48ドローン配送など、従来の手法がメモリ制限や計算制限により失敗する大規模マルチエージェント連携タスクをどの程度処理可能か？

主な発見

• 静的連携グラフを有するSysAdminベンチマークにおいて、FV-MCTS-MPはFV-MCTS-Var-Elと同等または優れた性能を達成するが、平均計画時間を~40秒から~1秒にまで短縮し、著しく高速化されている（8エージェントの場合）。
• FV-MCTS-MPは、マルチドローン配送ドメインにおいて48エージェント問題に成功してスケーリングしており、FV-MCTS-Var-Elおよび標準MCTSがメモリおよび計算制限により処理不能な問題サイズである。
• マルチドローン配送ドメインにおいて、FV-MCTS-MPは累積報酬および成功確率の両面で、MCTSおよびFV-MCTS-Var-Elを含むすべてのベースラインを上回っている。特に大規模問題サイズでは顕著な優位性を示している。
• FV-MCTS-MPにおける動的連携グラフの使用は、不要な連携オーバーヘッドを低減し、必要なときにのみ関連するエージェント間の相互作用を捉えるため、静的グラフよりも優れた性能を達成している。
• FV-MCTS-MPは、8〜48エージェントの全テスト問題サイズで強固なスケーラビリティを示しており、平均連携グラフ次数は2.4〜11.8の範囲で推移している。
• FV-MCTS-Var-Elおよび標準MCTSは、小さなインスタンス（例：8エージェント）ですらメモリ制限によりメモリオーバーフローを起こすが、FV-MCTS-MPは安定的かつ効率的に動作し、大規模問題でも問題を回避している。