[论文解读] Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium

Yu-Guan Hsieh, Kimon Antonakopoulos+1 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Bandit Algorithms Research参考文献 60被引用 8

一句话总结

该论文提出了一类自适应无遗憾学习算法——乐观对偶平均（Optimistic Dual Averaging, OptDA）与对偶稳定乐观镜像下降（Dual Stabilized Optimistic Mirror Descent, DS-OptMD），在无需预先调参的情况下，可实现对对抗性对手的最优 $\mathcal{O}(\sqrt{T})$ regret。当所有玩家均使用这些算法时，在变分稳定博弈（包括凸-凹博弈和单调博弈）中，博弈行为收敛至纳什均衡，且个体 regret 为 $\mathcal{O}(1)$。

ABSTRACT

In game-theoretic learning, several agents are simultaneously following their individual interests, so the environment is non-stationary from each player's perspective. In this context, the performance of a learning algorithm is often measured by its regret. However, no-regret algorithms are not created equal in terms of game-theoretic guarantees: depending on how they are tuned, some of them may drive the system to an equilibrium, while others could produce cyclic, chaotic, or otherwise divergent trajectories. To account for this, we propose a range of no-regret policies based on optimistic mirror descent, with the following desirable properties: i) they do not require any prior tuning or knowledge of the game; ii) they all achieve O(\sqrt{T}) regret against arbitrary, adversarial opponents; and iii) they converge to the best response against convergent opponents. Also, if employed by all players, then iv) they guarantee O(1) social regret; while v) the induced sequence of play converges to Nash equilibrium with O(1) individual regret in all variationally stable games (a class of games that includes all monotone and convex-concave zero-sum games).

研究动机与目标

• 为解决连续博弈中无遗憾学习的不稳定性问题，即标准算法在小扰动下可能无法收敛或发生发散。
• 通过设计在温和条件下可保证收敛至纳什均衡的算法，弥合无遗憾学习与均衡收敛之间的差距。
• 提供一个统一的自适应学习框架，适用于连续博弈，确保最优 regret 和稳定性，且无需了解博弈参数或全局调参。
• 将先前针对有限博弈的研究结果扩展至连续甚至无界动作空间，实现可证明的收敛性与 regret 保证。

提出的方法

• 采用基于局部梯度信息推导的自适应步长的乐观镜像下降，消除了对全局调参的依赖。
• 引入受 Follow-the-Regularized-Leader (FTRL) 启发的正则化机制，以稳定学习动态。
• 采用基于局部梯度范数的玩家特定自适应步长规则，确保在不预先了解博弈结构的情况下仍具备鲁棒性与收敛性。
• 应用拟-Fejér 序列分析，证明在变分稳定博弈条件下，博弈序列收敛至纳什均衡。
• 通过将 regret 分解为涉及梯度变化与正则化项的新颖形式，结合凸性与光滑性假设，推导出 regret 边界。
• 运用关于数值序列的技术引理，以界定对抗性 regret，并确保分析中关键序列的收敛性。

实验结果

研究问题

• RQ1 在连续博弈中，无遗憾学习能否在不预先调参的情况下保证收敛至纳什均衡？
• RQ2 何种条件可确保无遗憾学习产生稳定、均衡的结果，而非循环或发散行为？
• RQ3 能否在对抗性对手下实现 $\mathcal{O}(\sqrt{T})$ 的最优 regret，同时在所有玩家采用相同算法时确保收敛至均衡？
• RQ4 基于局部信息的自适应步长如何影响连续博弈中乐观镜像下降的收敛性与 regret 性质？
• RQ5 哪类博弈允许在无遗憾学习下实现 $\mathcal{O}(1)$ 的个体 regret 并收敛至纳什均衡？

主要发现

• 所提出的算法在无需任何预先调参或对博弈的先验知识下，可实现对任意对抗性对手的 $\mathcal{O}(\sqrt{T})$ regret。
• 当所有玩家使用相同算法时，社会 regret 被限制在 $\mathcal{O}(1)$ 以内，表明集体表现强劲。
• 在变分稳定博弈（如凸-凹零和博弈与单调博弈）中，博弈序列收敛至纳什均衡，且个体 regret 为 $\mathcal{O}(1)$。
• 即使在缺乏完整博弈知识的情况下，算法仍能确保收敛至对手的最优响应。
• 分析表明，玩家动作之间平方差的和收敛至零，意味着轨迹具有渐近稳定性。
• 该方法在保持均衡收敛的同时实现了最优 regret 边界，是首个在无界动作空间的连续博弈中实现此目标的算法。