[论文解读] A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints

Guodong Zhang, Xuchan Bao+2 more|arXiv (Cornell University)|Sep 23, 2020

Sparse and Compressive Sensing Techniques参考文献 67被引用 12

一句话总结

本文提出了一种基于积分二次约束（IQCs）的统一框架，用于分析光滑博弈中的一阶方法，实现了收敛速率界紧致化自动推导。该框架首次建立了负动量方法的全局收敛速率 O(κ^1.5)，与已知下界一致，并在时变设置下证明了梯度方法使用二次 Lyapunov 函数时的最优收敛性。

ABSTRACT

The theory of integral quadratic constraints (IQCs) allows the certification of exponential convergence of interconnected systems containing nonlinear or uncertain elements. In this work, we adapt the IQC theory to study first-order methods for smooth and strongly-monotone games and show how to design tailored quadratic constraints to get tight upper bounds of convergence rates. Using this framework, we recover the existing bound for the gradient method~(GD), derive sharper bounds for the proximal point method~(PPM) and optimistic gradient method~(OG), and provide \emph{for the first time} a global convergence rate for the negative momentum method~(NM) with an iteration complexity $\mathcal{O}(κ^{1.5})$, which matches its known lower bound. In addition, for time-varying systems, we prove that the gradient method with optimal step size achieves the fastest provable worst-case convergence rate with quadratic Lyapunov functions. Finally, we further extend our analysis to stochastic games and study the impact of multiplicative noise on different algorithms. We show that it is impossible for an algorithm with one step of memory to achieve acceleration if it only queries the gradient once per batch (in contrast with the stochastic strongly-convex optimization setting, where such acceleration has been demonstrated). However, we exhibit an algorithm which achieves acceleration with two gradient queries per batch.

研究动机与目标

• 开发一种系统化、自动化的框架，用于分析光滑且强单调博弈中一阶方法的收敛性。
• 通过利用控制理论中的 IQC 理论，克服针对特定案例设计 Lyapunov 函数的局限性。
• 为现有算法（如 GD、PPM、OG 和 NM）推导出紧致且可证明的收敛速率。
• 将分析扩展至随机设置，并研究乘性噪声对加速性能的影响。
• 确定在随机博弈中，每批次仅使用一个或两个梯度查询时是否可能实现加速。

提出的方法

• 将一阶优化算法建模为具有非线性或不确定部件的动态系统中的反馈互联。
• 应用积分二次约束（IQCs）以表征博弈算子的单调性与光滑性特性。
• 使用逐点和扇区型 IQCs 来建模博弈梯度映射的非线性。
• 将收敛性分析简化为求解小型半定规划（SDPs），从而实现收敛界推导的机械化与自动化。
• 将框架扩展至时变系统及具有乘性噪声的随机设置。
• 通过基于 IQC 的稳定性分析构造 Lyapunov 函数，推导出收敛保证。

实验结果

研究问题

• RQ1 能否利用控制理论工具，开发一种统一且自动化的框架，用于分析光滑博弈中一阶方法的收敛速率？
• RQ2 在光滑且强单调博弈中，负动量方法的最紧收敛速率是多少？
• RQ3 在每批次仅使用一个梯度查询的情况下，是否可能在随机博弈中实现加速？
• RQ4 在时变系统中，步长与动量参数的选择如何影响收敛性？
• RQ5 IQC 框架能否扩展至分析具有乘性噪声的随机算法？

主要发现

• 本文首次推导出负动量方法的全局收敛速率 O(κ^1.5)，与已知下界一致。
• 该框架通过一个 2×2 半定规划恢复了梯度方法的已知收敛速率，并获得解析解。
• 相较于先前工作，为近端点法与乐观梯度法推导出更紧致的收敛边界。
• 对于时变系统，使用最优步长的梯度方法在采用二次 Lyapunov 函数时，实现了最快可证明的最坏情况收敛速率。
• 在随机博弈中，每批次仅使用一个梯度查询无法实现加速，但使用两个查询每批次则可以实现加速。
• 基于 IQC 的分析使得通过小型 SDP 实现收敛界推导的机械化，避免了人为设计 Lyapunov 函数。