[论文解读] Distributed Nash Equilibrium Seeking over Time-Varying Directed Communication Networks

Duong Thuy Anh Nguyen, Duong Tung Nguyen+1 more|arXiv (Cornell University)|Jan 7, 2022

Mathematical and Theoretical Epidemiology and Ecology Models被引用 11

一句话总结

本文提出一种分布式梯度博弈算法，用于在时变有向通信网络中，仅使用局部信息和行随机混合矩阵，寻求非合作凸博弈中的纳什均衡。在强凸性和利普希茨连续梯度假设下，该算法实现了到纳什均衡的几何收敛，其新颖的压缩分析避免了对平衡矩阵或全局网络知识的依赖。

ABSTRACT

This paper proposes a distributed algorithm to find the Nash equilibrium in a class of non-cooperative convex games with partial-decision information. Our method employs a distributed projected gradient play approach alongside consensus dynamics, with individual agents minimizing their local costs through gradient steps and local information exchange with neighbors via a time-varying directed communication network. Addressing time-varying directed graphs presents significant challenges. Existing methods often circumvent this by focusing on static graphs or specific types of directed graphs or by requiring the stepsizes to scale with the Perron-Frobenius eigenvectors. In contrast, we establish novel results that provide a contraction property for the mixing terms associated with time-varying row-stochastic weight matrices. Our approach explicitly expresses the contraction coefficient based on the characteristics of the weight matrices and graph connectivity structures, rather than implicitly through the second-largest singular value of the weight matrix as in prior studies. The established results facilitate proving geometric convergence of the proposed algorithm and advance convergence analysis for distributed algorithms in time-varying directed communication networks. Numerical results on a Nash-Cournot game demonstrate the efficacy of the proposed method.

研究动机与目标

• 解决在仅部分了解他人行动信息的非合作博弈中，分布式纳什均衡（NE）求解的挑战。
• 克服先前方法对平衡混合矩阵或网络结构全局知识（如Perron-Frobenius特征向量）的依赖。
• 通过采用广泛可实现的行随机混合矩阵假设，实现在时变有向图中的收敛。
• 在行随机性条件下，建立混合项的新型压缩结果，明确将压缩常数与网络连通性和矩阵特性关联。
• 在强凸性和利普希茨连续梯度条件下，证明算法实现到纳什均衡的几何收敛，确保快速收敛速率。

提出的方法

• 提出一种离散时间分布式梯度博弈算法，每个代理仅利用自身梯度和邻居的局部信息，最小化其本地代价函数。
• 使用行随机混合矩阵建模时变有向网络中的信息交换，确保局部平均化，且无需全局网络知识。
• 通过一致性动态引入决策估计对齐机制，以同步各 agent 对联合策略配置的估计。
• 推导出混合项的新压缩不等式，表明一致性误差以显式依赖于网络连通性和矩阵结构的常数几何递减。
• 基于变分不等式理论和强凸性与利普希茨梯度条件下博弈映射的强单调性，分析收敛性。
• 在Nash-Cournot博弈模型上验证算法，与最先进方法在迭代次数、运行时间和收敛精度方面进行比较。

实验结果

研究问题

• RQ1 在不依赖平衡混合矩阵或全局网络信息的前提下，分布式纳什均衡求解算法是否能在时变有向网络中实现几何收敛？
• RQ2 行随机混合矩阵在实现有向时变图中的一致性和收敛性方面起到何种作用？
• RQ3 在行随机性条件下，如何基于网络连通性和矩阵特性表征混合项的压缩行为？
• RQ4 当应用于动态通信拓扑时，所提算法是否在计算效率和收敛速度上优于现有方法？
• RQ5 在仅依赖局部信息和强凸性、利普希茨梯度等弱假设下，能否保证几何收敛？

主要发现

• 所提算法在时变有向网络中实现了到纳什均衡的几何收敛，即使缺乏对网络结构的全局知识。
• 为行随机混合矩阵建立了新型压缩结果，压缩常数显式地以网络连通性和矩阵特性表示。
• 与最先进方法[5, Alg. 1]相比，该算法在收敛速度和计算效率上均表现更优，所需迭代次数更少，运行时间更短。
• 在1000次模拟中，α = 0.0005时，算法1平均需10,404次迭代和4.62秒，而[5, Alg. 1]需25,358次迭代和29.59秒。
• 即使在动态拓扑下，该算法仍保持快速收敛，时变随机图下的收敛误差∥xᵏ−x*∥∞ < 1.0×10⁻⁵。
• 该方法避免了在每次迭代中计算Perron-Frobenius特征向量等计算开销较大的步骤，显著降低了每次迭代的计算成本。