[论文解读] GCS: Graph-based Coordination Strategy for Multi-Agent Reinforcement Learning

Jingqing Ruan, Yali Du+7 more|arXiv (Cornell University)|Jan 17, 2022

Evacuation and Crowd Dynamics被引用 25

一句话总结

GCS 将一个联合 MARL 策略分解为一个生成 DAG 基于行动协调的图生成器和一个基于图的协同策略，从而实现对代理的结构化协同，并在 MARL 基准上获得更好的性能。

ABSTRACT

Many real-world scenarios involve a team of agents that have to coordinate their policies to achieve a shared goal. Previous studies mainly focus on decentralized control to maximize a common reward and barely consider the coordination among control policies, which is critical in dynamic and complicated environments. In this work, we propose factorizing the joint team policy into a graph generator and graph-based coordinated policy to enable coordinated behaviours among agents. The graph generator adopts an encoder-decoder framework that outputs directed acyclic graphs (DAGs) to capture the underlying dynamic decision structure. We also apply the DAGness-constrained and DAG depth-constrained optimization in the graph generator to balance efficiency and performance. The graph-based coordinated policy exploits the generated decision structure. The graph generator and coordinated policy are trained simultaneously to maximize the discounted return. Empirical evaluations on Collaborative Gaussian Squeeze, Cooperative Navigation, and Google Research Football demonstrate the superiority of the proposed method.

研究动机与目标

• 动机：在多智能体系统中超越完全分散控制的协调策略的需求。
• 提出一个框架，将联合策略分解为图生成器和基于图的协同策略。
• 学习有向无环图（DAG）以表示代理之间的行动依赖关系。
• 通过图生成器中的 DAG 性质和 DAG 深度约束在效率与性能之间取得平衡。
• 联合训练图生成器和协同策略以最大化折扣回报。

提出的方法

• 引入行动协调图（ACG），表示为其节点是代理而边表示行动依赖关系的 DAG。
• 把联合策略因子化为 pi(u|s,A)=rho(A|s) * prod_i pi^i(u^i|o^i,u^{pa(i)~A})，其中 A 由基于 DAG 的图生成器 rho 生成。
• 使用 DAGness 约束 g(A)=trace(exp(A∘A))−d=0 来强制无环性，并通过幂零矩阵实现的 DAG 深度约束来限制层次结构。
• 同时优化图生成器 rho 和基于图的协同策略 pi^i 以最大化期望折扣回报 eta。
• 推导策略和图生成器的梯度，并应用增广拉格朗日惩罚来执行 DAG 约束（方程式 4–11）。
• 描述实现：使用基于 GAT 的编码器和用于图生成的 MLP 解码器，以及用于协同策略的基于 RNN 的 actor-critic。

实验结果

研究问题

• RQ1 图基的协调结构（ACG）是否能够捕捉到 MARL 中代理之间的潜在决策依赖？
• RQ2 共同训练一个 DAG 生成图和一个基于图的协同策略是否能在 MARL 基准上改善协作与回报？
• RQ3 DAGs 性质和 DAG 深度约束如何影响学习效率与性能？
• RQ4 DAG 基于的协调在诸如 CGS、CN 与 Google Football 等多样环境下是否具有鲁棒性和可扩展性？

主要发现

• GCS 在 Collaborative Gaussian Squeeze、Cooperative Navigation 以及 Google Football 上，相较基线（VDN、QMIX、DCG、DGN）实现了更优的性能。
• 学习得到的 ACG 展示了代理之间的有意义的行动依赖和层次化的决策顺序，从而提升了协作。
• 增加 DAG 深度在某个点前提升性能，但会增加训练时间，且可能最终降低性能；一个最佳深度（k）在效率与收益之间取得平衡。
• 该方法在需要协作的任务中表现出更快的收敛和更低的方差，相较于忽略显式行动依赖的基线。
• GRF 实验表明 GCS 在 3-vs-2、3-vs-6 和 5-vs-5 场景中获得更高的回报，说明对动态性和随机性具有鲁棒性。