[论文解读] Gradient-Tracking over Directed Graphs for solving Leaderless Multi-Cluster Games

Jan Zimmermann, Tatiana Tatarenko+2 more|arXiv (Cornell University)|Feb 18, 2021

Distributed Control Multi-Agent Systems参考文献 15被引用 6

一句话总结

本文提出了一种分布式、离散时间的梯度追踪算法，用于在有向通信图上求解无领导者多集群博弈问题。通过使代理在集群内协同追踪梯度，并在集群间交换决策，该方法实现了对纳什均衡的线性收敛，且该均衡同时满足局部社会福利最优性，推广了先前的领导者-追随者和无向图方法。

ABSTRACT

We are concerned with finding Nash Equilibria in agent-based multi-cluster games, where agents are separated into distinct clusters. While the agents inside each cluster collaborate to achieve a common goal, the clusters are considered to be virtual players that compete against each other in a non-cooperative game with respect to a coupled cost function. In such scenarios, the inner-cluster problem and the game between the clusters need to be solved simultaneously. Therefore, the resulting inter-cluster Nash Equilibrium should also be a minimizer of the social welfare problem inside the clusters. In this work, this setup is cast as a distributed optimization problem with sparse state information. Hence, critical information, such as the agent's cost functions, remain private. We present a distributed algorithm that converges with a linear rate to the optimal solution. Furthermore, we apply our algorithm to an extended cournot game to verify our theoretical results.

研究动机与目标

• 求解多集群博弈问题，其中集群之间非合作竞争，而集群内部的代理则合作以最小化联合成本。
• 设计一种分布式算法，保护个体代价函数的隐私，并在稀疏、局部通信下运行。
• 将现有基于梯度的方法扩展至有向通信图，超越无向图或领导者-追随者架构。
• 在离散时间下实现线性收敛速率，优于较慢或连续时间的替代方法。
• 通过扩展的古诺博弈仿真验证理论结果。

提出的方法

• 代理维护两个变量：一个用于本地决策估计，另一个用于其集群内的梯度追踪。
• 该算法使用常数步长，相较于递减步长方法可实现更快的收敛速度。
• 集群间通信通过有向图建模，允许多个代理在集群外部进行通信。
• 该方法将更新动态近似为线性时不变状态空间系统，以证明收敛性。
• 梯度追踪使代理能够估计跨集群耦合代价函数的总梯度。
• 该算法确保决策共识与纳什均衡及局部社会福利最优性一致。

实验结果

研究问题

• RQ1 在无领导者、多集群博弈设置下，分布式算法能否实现对纳什均衡的线性收敛？
• RQ2 梯度追踪如何适应在多集群博弈中的有向通信图？
• RQ3 该算法能否同时满足集群间纳什均衡与集群内社会福利最优性？
• RQ4 与领导者-追随者架构相比，其性能在收敛速度和通信结构方面如何？
• RQ5 有向通信对收敛性和算法鲁棒性有何影响？

主要发现

• 在标准假设下，包括博弈映射的强单调性，该算法对最优解实现线性收敛。
• 在300次迭代内实现代理决策的一致性，所有维度中代理估计值之间的绝对差低于1.90×10⁻³。
• 在300次迭代后，代理估计值与真实纳什均衡状态之间的范数误差为ǫ = ||x₁ − x*||₂ = 0.005。
• 在相同步长下，该算法以300次迭代达到与领导者-追随者方法500次迭代相当的精度，表明收敛速度更快。
• 所提方法通过允许任意有向通信拓扑，推广了现有的领导者-追随者和无向图方法。
• 扩展的古诺博弈仿真结果表明，解同时满足集群间纳什均衡与集群内社会福利最优性。