[論文レビュー] GCS: Graph-based Coordination Strategy for Multi-Agent Reinforcement Learning

Jingqing Ruan, Yali Du+7 more|arXiv (Cornell University)|Jan 17, 2022

Evacuation and Crowd Dynamics被引用数 25

ひとこと要約

GCS は joint MARL ポリシーをグラフ生成器に因数分解し、DAG ベースのアクション協調を生み出し、グラフベースの協調ポリシーを生み出す。これによりエージェント間の構造化された協調を可能にし、MARL ベンチマーク全体で性能を向上させる。

ABSTRACT

Many real-world scenarios involve a team of agents that have to coordinate their policies to achieve a shared goal. Previous studies mainly focus on decentralized control to maximize a common reward and barely consider the coordination among control policies, which is critical in dynamic and complicated environments. In this work, we propose factorizing the joint team policy into a graph generator and graph-based coordinated policy to enable coordinated behaviours among agents. The graph generator adopts an encoder-decoder framework that outputs directed acyclic graphs (DAGs) to capture the underlying dynamic decision structure. We also apply the DAGness-constrained and DAG depth-constrained optimization in the graph generator to balance efficiency and performance. The graph-based coordinated policy exploits the generated decision structure. The graph generator and coordinated policy are trained simultaneously to maximize the discounted return. Empirical evaluations on Collaborative Gaussian Squeeze, Cooperative Navigation, and Google Research Football demonstrate the superiority of the proposed method.

研究の動機と目的

• 完全に分散制御を超えたマルチエージェントシステムにおける協調ポリシーの必要性を動機づける。
• ジョイントポリシーをグラフ生成器とグラフベースの協調ポリシーに因数分解するフレームワークを提案する。
• エージェント間の行動依存性を表す有向非巡回グラフ (DAG) を学習する。
• グラフ生成器におけるDAG性とDAG深さ制約を通じて効率と性能のバランスを取る。
• 割引報酬を最大化するよう、グラフ生成器と協調ポリシーを共同で訓練する。

提案手法

• ノードがエージェントでエッジが行動依存性を表すDAGとして表現されるアクション協調グラフ (ACG) を導入する。
• ジョイントポリシーを pi(u|s,A)=rho(A|s) * prod_i pi^i(u^i|o^i,u^{pa(i)~A}) と因数分解する。ここで A は DAG ベースのグラフ生成器 rho によって生成される。
• 非巡回性を課すDAG性制約 g(A)=trace(exp(A∘A))−d=0 を用いて閉塞性を強制し、階層を制限するためにnilpotent行列によるDAG深さ制約を適用する。
• 期待割引報酬 eta を最大化するよう、グラフ生成器 rho とグラフベースの協調ポリシー pi^i を同時に最適化する。
• ポリシーとグラフ生成器の勾配を導出し、DAG制約を課すために拡張ラグランジュペナルティを適用する（式4–11）。
• グラフ生成のためのGATベースのエンコーダとMLPデコーダによる実装と、協調ポリシーのためのRNNベースのアクタークリティックを説明する。）],
• research_questions:[
• グラフベースの協調構造（ACG）は、MARL におけるエージェント間の基礎的な意思決定依存関係を捉えることができるか？
• DAG生成グラフとグラフベースの協調ポリシーを共同訓練することは、MARLベンチマーク全体で協調と報酬を改善するか？
• DAG性とDAG深さ制約は学習効率と性能にどう影響するか？
• CGS、CN、Google Football のような多様な環境でDAGベースの協調は堅牢でスケーラブルか？

実験結果

リサーチクエスチョン

• RQ1

主な発見

• GCS は Collaborative Gaussian Squeeze、Cooperative Navigation、Google Football でベースライン（VDN、QMIX、DCG、DGN）より優れた性能を達成する。
• 学習されたACGはエージェント間の意味のある行動依存性と階層的な意思決定順序を明らかにし、協調を向上させる。
• DAG深さを増加させるとある点まで性能が向上するが、訓練時間が増え、最終的には性能が低下する可能性がある。最適な深さ (k) は効率と利得のバランスを取る。
• 明示的な行動依存性を無視するベースラインと比較して、協調タスクでより速い収束と低分散を示す。
• GRF 実験は、3対2、3対6、5対5 のシナリオで GCS がより高い報酬を達成することを示し、ダイナミクスと確率性に対する堅牢性を示している。