[论文解读] Learning in Time-Varying Games

Benoît Duvocelle, Panayotis Mertikopoulos+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research参考文献 73被引用 11

一句话总结

本文研究了在时间变化博弈中使用基于梯度和收益反馈的镜像下降（MD）算法进行多智能体在线学习。结果表明，当博弈序列稳定至严格单调极限时，MD策略会收敛至纳什均衡；在非平稳设置下，也能跟踪演化的均衡，且在温和的正则性和噪声条件下成立。

ABSTRACT

We examine the long-run behavior of multi-agent online learning in games that evolve over time. Specifically, we focus on a wide class of policies based on mirror descent, and we show that the induced sequence of play (a) converges to Nash equilibrium in time-varying games that stabilize in the long run to a strictly monotone limit; and (b) it stays asymptotically close to the evolving equilibrium of the sequence of stage games (assuming they are strongly monotone). Our results apply to both gradient-based and payoff-based feedback - i.e., the "bandit feedback" case where players only get to observe the payoffs of their chosen actions.

研究动机与目标

• 研究随时间演变的博弈中多智能体在线学习的长期行为。
• 确定基于镜像下降的学习策略是否能在时间变化博弈中收敛至或跟踪纳什均衡。
• 考察反馈类型（基于梯度与基于收益，即bandit反馈）对收敛与跟踪性能的影响。
• 建立学习动态收敛至极限博弈的纳什均衡或在非平稳设置下跟踪演化均衡的条件。
• 通过将固定博弈中的结果扩展至具有外生博弈演化的时变环境，弥合博弈论学习中的研究空白。

提出的方法

• 以镜像下降（MD）作为核心学习策略，其推广了次梯度下降、熵梯度下降以及Hedge算法。
• 应用随机逼近和常微分方程（ODE）方法分析离散时间学习动态。
• 利用Bregman散度和邻近映射推导稳定性与收敛性边界，利用距离生成函数的强凸性。
• 引入一种灵活的预言机模型，基于玩家选择的动作提供带噪声的梯度估计，兼容完整反馈与bandit反馈。
• 通过加权Bregman散度与对偶向量的组合，推导出一个模板不等式，以控制随时间的博弈演化。
• 依赖博弈结构的对角严格凹性（DSC）和单调性条件，以确保收敛至纳什均衡。

实验结果

研究问题

• RQ1 当阶段博弈序列收敛至严格单调极限时，基于镜像下降的学习策略是否能在时间变化博弈中收敛至纳什均衡？
• RQ2 当阶段博弈不收敛但保持强单调性时，此类策略是否能跟踪演化的纳什均衡？
• RQ3 与完整梯度反馈相比，收益反馈（bandit反馈）的可用性如何影响收敛与跟踪性能？
• RQ4 在博弈时变结构和学习参数方面，需满足何种条件才能实现渐近收敛或跟踪？
• RQ5 步长策略与噪声水平如何影响非平稳博弈中均衡跟踪误差与收敛速率？

主要发现

• 当阶段博弈序列收敛至严格单调极限时，诱导的博弈序列以概率1收敛至极限博弈的纳什均衡。
• 在非稳定、时变博弈中，若保持强单调性，博弈序列将渐近地接近阶段博弈序列的演化均衡。
• 在基于梯度与基于收益的反馈下，收敛与跟踪结果均成立，表明对部分信息具有鲁棒性。
• 分析表明，只要博弈结构满足单调性条件，即使在带噪声的梯度估计下，学习动态仍保持稳定并实现收敛。
• 通过一种新颖的模板不等式（涉及Bregman散度与加权对偶向量）推导出结果，从而实现对博弈演化的控制。
• 该框架支持确定性与随机设置，收敛速率取决于动作空间的几何结构以及距离生成函数的强凸性参数。