[论文解读] Adaptive Approaches for Fully Distributed Nash Equilibrium Seeking in Networked Games

Maojiao Ye, Guoqiang Hu|arXiv (Cornell University)|Dec 1, 2019

Distributed Control Multi-Agent Systems参考文献 10被引用 5

一句话总结

该论文提出了两种完全分布式纳什均衡搜寻策略——基于节点的和基于边的自适应控制律，用于多智能体网络博弈。通过自适应地调整一致性误差（基于节点）或通信图边上的权重（基于边），该方法消除了对集中式参数的依赖，在较弱条件下（包括强单调伪梯度和连通无向通信图）确保全局渐近收敛至纳什均衡。

ABSTRACT

This paper considers the design of fully distributed Nash equilibrium seeking strategies for multi-agent games. To develop fully distributed seeking strategies, two adaptive control laws, including a node-based control law and an edge-based control law, are proposed. In the node-based adaptive strategy, each player adjusts their own weight on their procurable consensus error dynamically. Moreover, in the edge-based algorithm, the fully distributed strategy is designed by adjusting the weights on the edges of the communication graph adaptively. By utilizing LaSalle's invariance principle, it is shown that the Nash equilibrium is globally asymptotically stable by both strategies given that the players' objective functions are twice-continuously differentiable, the partial derivatives of the players' objective functions with respect to their own actions are globally Lipschitz, the pseudo-gradient vector of the game is strongly monotone and the communication network is undirected and connected. In addition, we further show that the edge-based method can be easily adapted to accommodate time-varying communication conditions, in which the communication network is switching among a set of undirected and connected graphs. In the last, a numerical example is given to illustrate the effectiveness of the proposed methods.

研究动机与目标

• 解决现有基于一致性纳什均衡搜寻方法的局限性，即依赖于全局网络信息的集中式控制增益。
• 开发完全分布式算法，使控制增益由各智能体自主调整，无需共享或集中知识。
• 通过在切换通信拓扑下实现自适应，增强对网络变化的鲁棒性。
• 在标准博弈论假设下，利用李雅普诺夫稳定性与LaSalle不变性原理，对收敛性进行理论验证。

提出的方法

• 提出一种基于节点的自适应控制律，利用本地信息动态调整每个玩家对其自身一致性误差的权重。
• 引入一种基于边的自适应控制律，根据本地误差动态更新通信边上的权重，实现完全分布式协调。
• 采用基于李雅普诺夫的稳定性分析与LaSalle不变性原理，证明纳什均衡的全局渐近稳定性。
• 通过允许在一组无向连通通信图之间切换，将基于边的方法扩展至时变网络。
• 设计的算法无需已知利普希茨常数、网络规模或全局拓扑信息，确保即插即用能力。
• 采用双时间尺度结构，使用自适应增益替代固定的小扰动参数，避免集中式调参。

实验结果

研究问题

• RQ1 能否在不依赖集中式控制增益或全局网络信息的情况下，实现完全分布式纳什均衡搜寻？
• RQ2 如何设计自适应控制律，使每个智能体仅基于本地信息独立调整其策略？
• RQ3 所提方法能否在通信拓扑切换（网络结构随时间变化）时仍保持收敛？
• RQ4 当伪梯度为强单调且目标函数光滑时，能否提供收敛性的理论保证？
• RQ5 在收敛行为与对网络动态的鲁棒性方面，基于节点与基于边的自适应策略有何异同？

主要发现

• 在目标函数二阶连续可微、偏导数全局利普希茨连续且伪梯度强单调的假设下，基于节点的自适应策略可实现对纳什均衡的全局渐近收敛。
• 基于边的自适应策略确保全局渐近稳定性，且可扩展至切换通信图，在网络在有限组无向连通图间切换时仍保持收敛。
• 数值仿真表明，两种策略均能成功将玩家状态驱动至纳什均衡，所有场景下 $x_{i1}$ 和 $x_{i2}$ 的轨迹均收敛至均衡点。
• 基于边的方法中，自适应权重 $c_{ij}$ 和 $ar{c}_{ij}$ 收敛至有限非零值，表明自适应过程稳定且无发散。
• 所有智能体的一致性误差变量 $y_{ij1}$ 和 $y_{ij2}$ 均收敛至均衡点，验证了估计信息与真实纳什均衡的一致性。
• 所提方法在无需协调或集中式控制增益的情况下实现对纳什均衡的精确收敛，而以往工作仅能达到收敛至邻域。