[论文解读] A Tight and Unified Analysis of Gradient-Based Methods for a Whole Spectrum of Games

Waïss Azizian, Ioannis Mitliagkas+2 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Optimization Algorithms Research参考文献 42被引用 4

一句话总结

本文对梯度方法——特别是外梯度（EG）、乐观梯度（OG）和一致性优化（CO）——在可微博弈中进行了统一的谱分析，覆盖了从双线性到强单调设置的完整谱系。通过揭示这些方法根据问题结构自适应调整其收敛机制，建立了更紧致的全局收敛速率，并证明外梯度在多步外推方法中达到最优收敛速率。

ABSTRACT

We consider differentiable games where the goal is to find a Nash equilibrium. The machine learning community has recently started using variants of the gradient method (GD). Prime examples are extragradient (EG), the optimistic gradient method (OG) and consensus optimization (CO), which enjoy linear convergence in cases like bilinear games, where the standard GD fails. The full benefits of theses relatively new methods are not known as there is no unified analysis for both strongly monotone and bilinear games. We provide new analyses of the EG's local and global convergence properties and use is to get a tighter global convergence rate for OG and CO. Our analysis covers the whole range of settings between bilinear and strongly monotone games. It reveals that these methods converge via different mechanisms at these extremes; in between, it exploits the most favorable mechanism for the given problem. We then prove that EG achieves the optimal rate for a wide class of algorithms with any number of extrapolations. Our tight analysis of EG's convergence rate in games shows that, unlike in convex minimization, EG may be much faster than GD.

研究动机与目标

• 提供对外梯度（EG）的单一、精确分析，统一涵盖双线性博弈与强单调博弈中的局部与全局收敛性。
• 通过收敛速率的上下界，理论比较EG、GD及多步外推方法。
• 将谱分析扩展至推导OG与CO的更紧致全局收敛保证，揭示其收敛机制如何依赖于问题结构。
• 证明EG在具有任意外推步数的广义多步外推算法类中达到最优收敛速率。

提出的方法

• 对EG执行谱分析，推导出从双线性到强单调博弈整个谱系中均适用的局部收敛速率。
• 利用并扩展Arjevani等人（2016）的框架，推导出任意外推步数下1-平稳标准线性迭代方法的下界。
• 结合强单调性与奇异值界，利用Tseng的误差界及一种新型全局速率分析，改进EG、OG与CO的收敛保证。
• 应用引理1与引理16，分析平衡点处迭代映射的谱半径，将收敛性与雅可比矩阵的特征结构联系起来。
• 推导出统一涵盖各类设置的EG全局收敛速率，并通过相同框架将其扩展至OG与CO。
• 通过测量随机矩阵博弈中 $\eta\mu / (\eta\mu + \frac{7}{16}\eta^2\gamma^2)$ 的比值，对新全局速率的改进进行经验评估。

实验结果

研究问题

• RQ1 如何通过单一分析统一描述EG在双线性与强单调博弈中的收敛行为？
• RQ2 多步外推方法可达到的最优收敛速率是多少？EG是否实现了该最优速率？
• RQ3 OG与CO在双线性与强单调博弈之间的中间设置中如何收敛？其性能背后的机制是什么？
• RQ4 在仅依赖强单调性（$\mu$）的基础上，引入奇异值信息（$\gamma$）能在多大程度上提升全局收敛速率？
• RQ5 EG的谱分析能否扩展至为OG与CO提供更紧致的全局收敛保证？

主要发现

• 所提出的EG全局收敛速率为 $\frac{1}{4}\left(\frac{\mu}{L} + \frac{\gamma^2}{16L^2}\right)$，比先前结果更紧致，并统一了各类设置下的行为表现。
• 对于OG，全局收敛速率为 $\frac{1}{4}\left(\frac{\mu}{L} + \frac{\gamma^2}{32L^2}\right)$，表明其性能优于先前的界。
• 对于CO，全局收敛速率为 $\frac{\mu^2}{2L_H^2} + \frac{\gamma^2}{2L_H^2}$，该结果同时结合了强单调性与奇异值信息。
• 谱分析证实EG的收敛速率是紧致的，且在非凸设置中，尤其在双线性博弈中，显著优于GD。
• 下界结果表明，增加外推步数或采用不同步长无法带来显著改进，从而确认EG在该类方法中具有最优性。
• 经验评估显示，当 $\eta^2\gamma^2 \gg \eta\mu$ 时，新速率相比标准速率可提升至多两倍，尤其在双方玩家维度平衡时表现更优。