[论文解读] Last-iterate convergence rates for min-max optimization

Jacob Abernethy, Kevin A. Lai+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Optimization Algorithms Research参考文献 35被引用 41

一句话总结

该论文在新充分双线性条件下，对 Hamiltonian Gradient Descent (HGD) 算法在凸-凹极小极大问题中证明了非渐近的最后迭代线性收敛率，并给出对 Consensus Optimization (CO) 和随机 HGD 的类似结果。

ABSTRACT

While classic work in convex-concave min-max optimization relies on average-iterate convergence results, the emergence of nonconvex applications such as training Generative Adversarial Networks has led to renewed interest in last-iterate convergence guarantees. Proving last-iterate convergence is challenging because many natural algorithms, such as Simultaneous Gradient Descent/Ascent, provably diverge or cycle even in simple convex-concave min-max settings, and previous work on global last-iterate convergence rates has been limited to the bilinear and convex-strongly concave settings. In this work, we show that the Hamiltonian Gradient Descent (HGD) algorithm achieves linear convergence in a variety of more general settings, including convex-concave problems that satisfy a "sufficiently bilinear" condition. We also prove similar convergence rates for the Consensus Optimization (CO) algorithm of [MNG17] for some parameter settings of CO.

研究动机与目标

• 在双线性和强凸-强凹以外的设定下，激发并建立对最小-最大问题的最后迭代收敛性保证。
• 介绍并分析 Hamiltonian Gradient Descent (HGD) 作为对哈密顿量的梯度下降以寻找鞍点。
• 在比以往工作更弱的假设下推导全局线性收敛率，包括一个新颖的充分双线性条件。
• 将 HGD 与 Consensus Optimization (CO) 联系起来，在合适的参数下显示出可比的收敛速度。
• 将结果扩展到随机 HGD，并显示相应的 O(1/√k) 速率。

提出的方法

• 将 Hamiltonian H(x) 定义为 H(x) = 1/2 ||ξ(x)||^2，其中 ξ(x) = (∂g/∂x1, -∂g/∂x2)。
• 更新 x^(k+1) = x^(k) - η ∇H(x^(k))，通过 ∇H = ξ^T J 需要 Hessian 向量乘积。
• 证明在各种假设下 H(x) 满足 Polyak-Łojasiewicz (PL) 条件，从而实现对 H 的梯度下降的线性收敛。
• 引入一种新颖的“充分双线性”条件（式 (eq. 3)），该条件涉及交叉导数和二阶项，在没有强凸性时也确保凸-凹设定下的线性收敛。
• 若 HGD 在带参数 α 的 PL 条件下收敛，则 ||ξ(x^(k))|| 以几何速度衰减，速率为 (1 - α/L_H)^(k/2)。
• 在合适的参数选择下，给出随机 HGD（O(1/√k) 速率）以及对 Consensus Optimization (CO) 的扩展。

实验结果

研究问题

• RQ1 对于超出双线性和强凸-强凹情形的极小-极大问题，是否可以全局保证最后迭代收敛？
• RQ2 在何种条件下，Hamiltonian Gradient Descent 能实现对凸-凹极小极大目标的线性、非渐近收敛？
• RQ3 充分双线性跨导结构在确保快速收敛中扮演何种角色？
• RQ4 在这些设置下，HGD 的随机变体以及相关算法如 Consensus Optimization 的表现如何？

主要发现

• HGD 在若干设置中实现全球线性最后迭代收敛，超越强凸性/线性，包括在充分双线性条件下的凸-凹问题。
• 通过对 JJ^T 的界限建立了对哈密顿量的 PL 条件，从而实现线性收敛保证。
• 一个具体的速率表达式表明 ||ξ(x^(k))|| 在充分双线性条件下，以几何方式衰减，速率取决于问题常数（例如 γ、L、μ、ρ、Γ）。
• 对于非凸-非凹和相关的非凸-线性情形，论文推导出显式的 PL 参数 (α)，并显示哈密顿量梯度范数的线性衰减。
• 在 PL 框架下，随机 HGD 继承了 O(1/√k) 收敛速率，使用标准的随机梯度论证。
• Consensus Optimization (CO) 在相同设定下，当 CO 更新参数 γ 选取足够大时，可以达到与 HGD 相同的线性收敛速率。