[论文解读] Gradient-Free Nash Equilibrium Seeking in N-Cluster Games with Uncoordinated Constant Step-Sizes

Yipeng Pang, Guoqiang Hu|arXiv (Cornell University)|Aug 30, 2020

Extremum Seeking Control Systems参考文献 56被引用 10

一句话总结

该论文提出了一种针对N簇非合作博弈的无梯度纳什均衡（NE）寻找算法，其中各 agent 无法获取显式成本函数的梯度，但可测量函数值。通过结合高斯平滑与梯度追踪，该方法使各簇能够独立采用恒定步长，实现对唯一纳什均衡邻域的线性收敛，其误差与最大步长及平滑参数成正比，且在强单调性条件下成立。

ABSTRACT

This work investigates a problem of simultaneous global cost minimization and Nash equilibrium seeking, which commonly exists in $N$-cluster non-cooperative games. Specifically, the agents in the same cluster collaborate to minimize a global cost function, being a summation of their individual cost functions, and jointly play a non-cooperative game with other clusters as players. For the problem settings, we suppose that the explicit analytical expressions of the agents' local cost functions are unknown, but the function values can be measured. We propose a gradient-free Nash equilibrium seeking algorithm by a synthesis of Gaussian smoothing techniques and gradient tracking. Furthermore, instead of using the uniform coordinated step-size, we allow the agents across different clusters to choose different constant step-sizes. When the largest step-size is sufficiently small, we prove a linear convergence of the agents' actions to a neighborhood of the unique Nash equilibrium under a strongly monotone game mapping condition, with the error gap being propotional to the largest step-size and the smoothing parameter. The performance of the proposed algorithm is validated by numerical simulations.

研究动机与目标

• 解决在无法获取本地成本函数显式梯度的情况下，N簇非合作博弈中的纳什均衡寻找问题。
• 设计一种仅依赖函数值测量的分布式算法，以实现仅在有限解析信息条件下系统的实际部署。
• 允许不同簇中的 agent 独立选择各自的恒定步长，从而降低协调开销。
• 在无协调步长选择与无梯度设置下，建立收敛性保证，并提供可量化的误差界。
• 通过在连通性控制博弈上的数值仿真验证算法性能。

提出的方法

• 利用高斯平滑在缺乏解析表达式时估计梯度，从而实现无梯度优化。
• 采用梯度追踪技术以估计博弈映射的真实梯度，提升收敛精度。
• 设计一种分布式更新律，使每个 agent 仅利用本地测量值与邻居信息来更新其动作。
• 允许每个簇使用不同的恒定步长，从而消除对全局步长选择协调的需求。
• 采用基于一致性结构的平均梯度追踪机制，确保系统稳定与收敛。
• 应用强单调博弈映射条件，以保证纳什均衡的存在性与唯一性。

实验结果

研究问题

• RQ1 当仅可访问函数值时，能否为N簇博弈设计一种无梯度NE寻找算法？
• RQ2 在各簇间采用无协调恒定步长选择时，对无梯度NE寻找的收敛性与误差有何影响？
• RQ3 在无协调步长与无梯度条件下，所提算法的收敛速率与误差界为何？
• RQ4 该算法能否实现对NE邻域的线性收敛，并实现可量化的误差？
• RQ5 步长大小与平滑参数之间的相互作用如何影响最终的误差差距？

主要发现

• 在强单调博弈映射条件下，所提算法实现了对唯一纳什均衡邻域的线性收敛。
• agent 动作与真实NE之间的误差差距与最大步长及平滑参数成正比。
• 当最大步长足够小时，即使在无梯度操作下，算法也能确保稳定且精确的收敛。
• 在连通性控制博弈上的数值仿真表明，更大的步长与更低的步长异质性可提升收敛速度。
• 误差差距随时间线性减小，验证了理论预测的收敛速率。
• 即使在各簇间步长异质性较高的情况下，算法仍保持有效性，验证了其对无协调选择的鲁棒性。