[论文解读] Linear Lower Bounds and Conditioning of Differentiable Games

Adam Ibrahim, Waïss Azizian+2 more|arXiv (Cornell University)|Jun 17, 2019

Advanced Bandit Algorithms Research参考文献 27被引用 12

一句话总结

该论文为可微博弈中的一阶方法建立了线性收敛速率下界，将Nesterov的多米诺论证和p-SCLI框架推广至n人博弈。提出了一种新的条件数，即使在双线性博弈中也保持有限，从而在无需强凸性或强凹性的情况下实现线性收敛分析，并证明了在光滑强凸-强凹和双线性设置下，现有上界具有紧致性。

ABSTRACT

Recent successes of game-theoretic formulations in ML have caused a resurgence of research interest in differentiable games. Overwhelmingly, that research focuses on methods and upper bounds on their speed of convergence. In this work, we approach the question of fundamental iteration complexity by providing lower bounds to complement the linear (i.e. geometric) upper bounds observed in the literature on a wide class of problems. We cast saddle-point and min-max problems as 2-player games. We leverage tools from single-objective convex optimisation to propose new linear lower bounds for convex-concave games. Notably, we give a linear lower bound for $n$-player differentiable games, by using the spectral properties of the update operator. We then propose a new definition of the condition number arising from our lower bound analysis. Unlike past definitions, our condition number captures the fact that linear rates are possible in games, even in the absence of strong convexity or strong concavity in the variables.

研究动机与目标

• 建立一阶方法在可微博弈中收敛速度的根本限制，尤其是在缺乏强凸性或强凹性的情况下。
• 解决凸-凹博弈中缺乏有意义条件数的问题，特别是现有定义在双线性问题中失效的情形。
• 将原本用于单目标优化的下界技术推广至n人可微博弈。
• 推导一种能捕捉博弈中线性收敛潜力的条件数，即使目标函数缺乏强凸性或强凹性。
• 通过证明其与推导出的下界在关键问题类中一致，验证现有上界紧致性。

提出的方法

• 通过在无穷维空间中构造一个困难的极小-极大问题，将Nesterov的多米诺论证推广至二人博弈，得到收敛速率的线性下界。
• 将p-SCLI框架扩展至具有非对称雅可比矩阵的n人博弈，实现对有限维二次博弈中更新算子的谱分析。
• 利用巴拿赫代数中更新算子的谱性质，推导出适用于任意人数的下界，包括二人博弈和极小-极大问题。
• 提出一种基于博弈雅可比矩阵谱半径和特征值分布的新条件数，即使在双线性博弈中也保持有限。
• 将该框架应用于光滑强凸-强凹和双线性博弈，证明下界与已知上界一致。
• 通过与Fallah等人（2020）及Azizian等人（2020）的后续上界比较，验证了边界的紧致性。

实验结果

研究问题

• RQ1 能否为缺乏强凸性或强凹性的n人可微博弈中的一阶方法建立线性下界？
• RQ2 是否存在一种适用于凸-凹博弈的条件数，使其在双线性情形下仍保持有限且有意义，而现有定义在此失效？
• RQ3 能否将p-SCLI框架推广至具有非对称雅可比矩阵的n人博弈，以获得紧致下界？
• RQ4 推导出的下界是否在关键问题类（如光滑强凸-强凹和双线性博弈）中与现有上界一致？
• RQ5 能否通过引入特征值分析或博弈海塞矩阵的结构约束，进一步收紧下界？

主要发现

• 通过推广的多米诺论证，为二人可微博弈建立了线性下界，适用于满足两步线性跨度假设的一阶黑箱方法。
• 将p-SCLI框架扩展至具有非对称雅可比矩阵的n人博弈，为二次博弈得出了紧致下界，并在n=1时恢复了Arjevani等人（2016）的结果。
• 提出一种新条件数，即使在双线性博弈中也保持有限，可捕捉无强凸性或强凹性时的线性收敛潜力。
• 证明了定理3中的下界对光滑强凸-强凹博弈是紧致的，与Fallah等人（2020）的上界一致。
• 同一低界对非奇异雅可比矩阵的双线性博弈也具有紧致性，得到Azizian等人（2020）的验证，确立了其方法的最优性。
• 结果表明，现有方法在所研究类中是最优的，并提示未来工作可通过特征值分析或结构约束进一步收紧边界。