[论文解读] Competing Against Equilibria in Zero-Sum Games with Evolving Payoffs

Adrian Rivera Cardoso, Jacob Abernethy+2 more|arXiv (Cornell University)|Jul 17, 2019

Game Theory and Applications参考文献 50被引用 8

一句话总结

该论文提出SP-RFTL，一种用于演化收益矩阵的在线矩阵博弈的新算法，其中玩家通过与长期平均收益矩阵的纳什均衡（NE）竞争来最小化纳什均衡后悔。该算法实现了关于动作数量的对数多项式依赖和关于轮次的线性依赖的次线性NE后悔，并在生成对抗网络（GAN）训练中表现出色，优于Unrolled GAN和WGAN等基线方法。

ABSTRACT

We study the problem of repeated play in a zero-sum game in which the payoff matrix may change, in a possibly adversarial fashion, on each round; we call these Online Matrix Games. Finding the Nash Equilibrium (NE) of a two player zero-sum game is core to many problems in statistics, optimization, and economics, and for a fixed game matrix this can be easily reduced to solving a linear program. But when the payoff matrix evolves over time our goal is to find a sequential algorithm that can compete with, in a certain sense, the NE of the long-term-averaged payoff matrix. We design an algorithm with small NE regret--that is, we ensure that the long-term payoff of both players is close to minimax optimum in hindsight. Our algorithm achieves near-optimal dependence with respect to the number of rounds and depends poly-logarithmically on the number of available actions of the players. Additionally, we show that the naive reduction, where each player simply minimizes its own regret, fails to achieve the stated objective regardless of which algorithm is used. We also consider the so-called bandit setting, where the feedback is significantly limited, and we provide an algorithm with small NE regret using one-point estimates of each payoff matrix.

研究动机与目标

• 设计一种序列算法，确保玩家的长期收益在事后能接近平均收益矩阵的极小极大最优值。
• 解决重复零和博弈中收益矩阵被对手恶意改变的挑战，其中标准后悔最小化无法实现NE后悔控制。
• 开发一种具有次线性NE后悔的算法，其对动作数量的依赖为对数多项式，对轮次数的依赖为线性。
• 通过使用单点收益估计，将该框架扩展到bandit反馈设置。
• 在GAN训练中实证验证该方法，展示改进的模式覆盖能力和样本质量。

提出的方法

• 提出SP-RFTL（半参数正则化追随领导者），一种联合策略更新规则，通过在固定区间内对单个后悔最小化算法的迭代值取平均。
• 采用正则化框架，即使在单个收益矩阵被对手恶意改变的情况下，也能确保收敛到平均收益矩阵的纳什均衡。
• 在bandit设置中，使用收益矩阵的单点估计来近似完整反馈，从而在信息受限的情况下实现NE后悔最小化。
• 通过使用小批量近似生成器和判别器损失，并在固定区间内对迭代值取平均，将该算法应用于GAN训练。
• 基于在线凸优化（OCO）原理，采用对偶平均方法，在完整反馈和bandit反馈两种环境下均保持低后悔。
• 证明单纯的个体后悔最小化无法实现次线性NE后悔，从而确立了联合策略设计的必要性。

实验结果

研究问题

• RQ1 在收益矩阵演化的在线零和博弈中，联合策略能否实现次线性纳什均衡后悔？
• RQ2 为何标准的个体后悔最小化在此设置下无法实现NE后悔控制？
• RQ3 在仅使用单点收益估计的bandit反馈下，能否实现次线性NE后悔？
• RQ4 与现有GAN训练方法相比，所提算法在模式覆盖和样本质量方面表现如何？
• RQ5 是否存在一种系统性方法，可将在线学习算法适配到非平稳环境中，以与平均收益矩阵的纳什均衡竞争？

主要发现

• SP-RFTL实现了对动作数量为对数多项式依赖、对轮次数为线性依赖的次线性NE后悔，其性能在对数因子范围内达到最优边界。
• 在训练八个高斯分布的混合模型时，SP-RFTL显著优于Unrolled GAN和WGAN，能更快学习真实分布并避免模式崩溃。
• 无论底层算法如何，单纯的个体后悔最小化均无法实现次线性NE后悔，从而证明了联合策略设计的必要性。
• SP-RFTL的bandit版本仅使用单点收益估计即实现了次线性NE后悔，使其适用于信息受限的场景。
• 实证结果表明，SP-RFTL中每固定轮次对迭代值进行平均这一核心机制，可有效防止模式崩溃并提升GAN训练的稳定性。
• 该算法对恶意收益矩阵序列具有鲁棒性，在矩阵任意变化的条件下仍能保持低后悔。