[论文解读] Convergence of Payoff-Based Higher-Order Replicator Dynamics in Contractive Games

Hassan Abdelraouf, Vijay Gupta+1 more|arXiv (Cornell University)|Mar 18, 2026

Game Theory and Applications被引用 0

一句话总结

该论文在收敛性方面分析了基于收益的高阶复制者动力学在收缩博弈中的局部和全局收敛性，利用通量性与增量稳定性，展现了对称收缩设置下的局部渐近收敛及全局/增量结果。

ABSTRACT

We study the convergence properties of a payoff-based higher-order version of replicator dynamics, a widely studied model in evolutionary dynamics and game-theoretic learning, in contractive games. Recent work has introduced a control-theoretic perspective for analyzing the convergence of learning dynamics through passivity theory, leading to a classification of learning dynamics based on the passivity notion they satisfy, such as extdelta-passivity, equilibrium-independent passivity, and incremental passivity. We leverage this framework for the study of higher-order replicator dynamics for contractive games, which form the complement of passive learning dynamics. Standard replicator dynamics can be represented as a cascade interconnection between an integrator and the softmax mapping. Payoff-based higher-order replicator dynamics include a linear time-invariant (LTI) system in parallel with the existing integrator. First, we show that if this added system is strictly passive and asymptotically stable, then the resulting learning dynamics converge locally to the Nash equilibrium in contractive games. Second, we establish global convergence properties using incremental stability analysis for the special case of symmetric matrix contractive games.

研究动机与目标

• 通过控制理论视角 motivating population games 中的学习动力学研究。
• 将复制者动力学推广到更高阶、基于收益的 setting，并分析收敛性。
• 利用通量性（包含严格通量性）与增量稳定性表征局部和全局收敛性。
• 给出在收缩博弈中达到纳什均衡的条件，包括对称矩阵情形。

提出的方法

• 将高阶复制者动力学建模为LTI系统（表示 h(s)）与 softmax 映射之间的级联连通。
• 通过证明纳什站态性并利用带严格通量性的 Lyapunov/LaSalle 法则，给出局部收敛性。
• 利用增量稳定性分析推出对称矩阵收缩博弈的全局收敛性结果，将 G(s) 与 softmax 映射级联的通量性与渐近或指数收敛联系起来。
• 应用 KYP 引理和常见二次型 Lyapunov 函数来建立非线性闭环系统的全局增量稳定性。
• 给出示例（如 石头剪刀布Rock–Paper–Scissors 与拥塞博弈）来说明局部和全局收敛性质。

Figure 1 : Block diagram of the linearized local dynamics.

实验结果

研究问题

• RQ1 在收缩博弈中，基于收益的高阶复制者动力学在局部收敛到纳什均衡的条件是什么？
• RQ2 当学习动力来自于被动或严格被动的传递函数时，对于对称矩阵收缩博弈，能建立哪些全局收敛保证（增量渐近/指数稳定性）？
• RQ3 添加的 LTI 系统的被动性属性如何影响高阶复制者框架中的收敛性？
• RQ4 这些动力学在单纯形内端点处是否存在纳什站态性，以及这对收敛性结果有何影响？
• RQ5 具体博弈示例对这些动力学的实际收敛行为有何体现？

主要发现

• 若添加的 LTI 系统 h(s) 严格被动，则在收缩博弈中混合纳什均衡局部渐近稳定。
• 在对称矩阵收缩博弈中，当学习动力建模为 G(s)I_n 与 softmax 映射的级联时，若具有增量稳定性，则全局增量稳定性成立，且收敛为渐近或指数性取决于被动性水平（被动 vs 严格被动）。
• 存在一个通用二次型 Lyapunov 函数可以证明所有轨迹线性化的全局增量稳定性，从而在纳什站态性下获得全局收敛性。
• KYP 引理与收缩分析被用来证明非线性闭环系统在 G(s) 被动或严格被动时的稳定性。
• 具体示例（石头剪刀布与拥塞博弈）说明对严格被动的 h(s) 的局部收敛性，以及对被动/严格被动的 G(s) 的全局/增量稳定性。

Figure 2 : Local convergence of payoff-based higher-order replicator dynamics for $h(s)=\tfrac{2s+3}{s^{2}+3s+2}$ in the RPS game.