[论文解读] Distributed Nash Equilibrium Seeking by A Consensus Based Approach

Maojiao Ye, Guoqiang Hu|arXiv (Cornell University)|Feb 2, 2016

Distributed Control Multi-Agent Systems参考文献 34被引用 10

一句话总结

本文提出了一种基于领导者-跟随者一致性协议与梯度博弈相结合的分布式纳什均衡寻找策略，用于非合作博弈，使参与者仅通过局部通信即可收敛至纳什均衡。该方法在温和条件下确保非二次博弈的局部收敛性，以及二次博弈的全局指数稳定性。

ABSTRACT

In this paper, Nash equilibrium seeking among a network of players is considered. Different from many existing works on Nash equilibrium seeking in non-cooperative games, the players considered in this paper cannot directly observe the actions of the players who are not their neighbors. Instead, the players are supposed to be capable of communicating with each other via an undirected and connected communication graph. By a synthesis of a leader-following consensus protocol and the gradient play, a distributed Nash equilibrium seeking strategy is proposed for the non-cooperative games. Analytical analysis on the convergence of the players' actions to the Nash equilibrium is conducted via Lyapunov stability analysis. For games with non-quadratic payoffs, where multiple isolated Nash equilibria may coexist in the game, a local convergence result is derived under certain conditions. Then, a stronger condition is provided to derive a non-local convergence result for the non-quadratic games. For quadratic games, it is shown that the proposed seeking strategy enables the players' actions to converge to the Nash equilibrium globally under the given conditions. Numerical examples are provided to verify the effectiveness of the proposed seeking strategy.

研究动机与目标

• 解决参与者无法直接观测非邻居行动的非合作博弈中的纳什均衡寻找问题。
• 通过仅利用无向且连通网络中的本地邻居通信，克服全通信的局限性。
• 设计一种分布式算法，使参与者能够估计对手的行动并实现无需完整信息的纳什均衡收敛。
• 建立非二次博弈的收敛保证（局部与非局部），以及二次博弈的全局收敛保证。
• 利用李雅普诺夫分析提供解析稳定性结果，并通过数值仿真加以验证。

提出的方法

• 集成领导者-跟随者一致性协议，仅通过本地通信估计非邻居参与者的行动。
• 每位参与者作为虚拟领导者，广播自身行动以更新网络中的共识估计。
• 在梯度博弈更新规则中使用估计的行动，迭代调整每位参与者的策略以逼近均衡。
• 使用微分方程组（3）–（4）建模动力学，结合一致性与梯度博弈分量。
• 应用李雅普诺夫稳定性分析，在收益函数与网络结构满足特定假设下证明收敛性。
• 推导出局部收敛条件（定理1）、非局部收敛条件（定理2）以及二次博弈的全局指数稳定性条件（推论2）。

实验结果

研究问题

• RQ1 当参与者仅与邻居通信时，是否能在非合作博弈中实现纳什均衡？
• RQ2 在非二次收益函数的博弈中，何种条件可确保向纳什均衡的局部收敛？
• RQ3 在何种更强条件下可保证非二次博弈的非局部收敛？
• RQ4 所提出的策略是否能确保二次博弈的全局收敛？
• RQ5 领导者-跟随者一致性与梯度博弈的结合如何影响收敛稳定性与性能？

主要发现

• 对于非二次博弈，在温和假设下通过李雅普诺夫稳定性分析证明了向纳什均衡的局部收敛性。
• 识别出更强的条件，使得实现非局部收敛，从而扩大吸引域范围。
• 对于二次博弈，所提策略在给定条件下确保了纳什均衡的全局指数稳定性。
• 数值仿真验证了在所有三个示例中均能收敛至纳什均衡：从邻近初始条件的局部收敛，从远距离初始状态的非局部收敛，以及在二次博弈中的全局收敛。
• 在示例3中，纳什均衡是全局指数稳定的，参与者行动从初始值-10收敛至均衡点[2.0147, 6.7766, 11.5385, 16.3004, 21.0623]T。
• 该方法对远离均衡的初始条件具有鲁棒性，如示例2所示，即使初始值为20，收敛依然发生。