[论文解读] Fast and Furious Learning in Zero-Sum Games: Vanishing Regret with Non-Vanishing Step Sizes

James P. Bailey, Georgios Piliouras|arXiv (Cornell University)|May 11, 2019

Advanced Bandit Algorithms Research参考文献 33被引用 6

一句话总结

本文首次为两玩家两策略零和博弈中固定步长的在线梯度下降建立了 $\Theta(\sqrt{T})$ 的次线性遗憾界——证明了即使学习率不衰减，仍可实现最优遗憾。关键洞见在于，纳什均衡附近的不稳定性并非障碍，反而能实现对对偶空间中收益轨迹的紧密几何控制，从而实现时间平均收敛至精确的纳什均衡。

ABSTRACT

We show for the first time, to our knowledge, that it is possible to reconcile in online learning in zero-sum games two seemingly contradictory objectives: vanishing time-average regret and non-vanishing step sizes. This phenomenon, that we coin ``fast and furious" learning in games, sets a new benchmark about what is possible both in max-min optimization as well as in multi-agent systems. Our analysis does not depend on introducing a carefully tailored dynamic. Instead we focus on the most well studied online dynamic, gradient descent. Similarly, we focus on the simplest textbook class of games, two-agent two-strategy zero-sum games, such as Matching Pennies. Even for this simplest of benchmarks the best known bound for total regret, prior to our work, was the trivial one of $O(T)$, which is immediately applicable even to a non-learning agent. Based on a tight understanding of the geometry of the non-equilibrating trajectories in the dual space we prove a regret bound of $Θ(\sqrt{T})$ matching the well known optimal bound for adaptive step sizes in the online setting. This guarantee holds for all fixed step-sizes without having to know the time horizon in advance and adapt the fixed step-size accordingly. As a corollary, we establish that even with fixed learning rates the time-average of mixed strategies, utilities converge to their exact Nash equilibrium values.

研究动机与目标

• 调和在线学习中遗憾趋于零与固定步长之间的矛盾目标，适用于零和博弈。
• 为使用固定学习率的在线梯度下降建立次线性遗憾界，此前研究仅能获得平凡的 $O(T)$ 界。
• 证明即使使用固定步长，时间平均混合策略与收益仍可精确收敛至纳什均衡值。
• 证明纳什均衡附近的不稳定性（排斥动力学）可被分析性地利用，以证明紧致的遗憾界。

提出的方法

• 分析两策略零和博弈中对偶空间内收益向量的非均衡轨迹的几何结构。
• 引入收益向量的线性变换，使其围绕纳什均衡旋转，且每次旋转距离均衡点的间距恒定增加。
• 建立完成一次旋转所需时间与距离均衡点距离成正比，从而推导出迭代次数与旋转次数之间的二次关系。
• 利用该旋转动力学，推导出在不预先知晓时间范围 $T$ 的情况下，固定步长下 $O(\sqrt{T})$ 的遗憾界。
• 通过在单个匹配硬币博弈实例中显式追踪策略与遗憾，证明了匹配的 $\Omega(\sqrt{T})$ 下界。

实验结果

研究问题

• RQ1 在零和博弈中，即使缺乏自适应学习率调节，是否仍可实现次线性遗憾？
• RQ2 当使用固定学习率时，时间平均策略与收益是否可精确收敛至纳什均衡值？
• RQ3 是否可利用梯度动力学中纳什均衡的不稳定性来证明更紧致的遗憾界？
• RQ4 两玩家两策略零和博弈中在线梯度下降的收益轨迹背后存在何种几何结构？

主要发现

• 本文证明了对于任意固定步长，在线梯度下降的遗憾界为 $O(\sqrt{T})$，与自适应步长可达到的最优界一致。
• 该遗憾界无需预先知晓时间范围 $T$，因此适用于实时与在线场景。
• 即使使用固定学习率，时间平均混合策略与收益仍可精确收敛至纳什均衡值，而非近似值。
• 分析表明，对偶空间中的收益向量围绕纳什均衡发生旋转运动，其振幅逐渐增大，且每次旋转耗时与距离成正比。
• 建立了匹配的 $\Omega(\sqrt{T})$ 下界，证明 $O(\sqrt{T})$ 遗憾界是紧致的。