[论文解读] Faster Single-loop Algorithms for Minimax Optimization without Strong Concavity

Junchi Yang, Antonio Orvieto+2 more|arXiv (Cornell University)|Dec 10, 2021

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

该论文提出两种更快的单循环算法——交替GDA（AGDA）和光滑GDA——用于在单一变量满足Polyak-Łojasiewicz（PL）条件下进行极小化极大优化，且无需强凹性假设。它建立了光滑GDA的迭代复杂度为$O(\kappa\epsilon^{-2})$，其随机变体的复杂度为$O(\kappa^2\epsilon^{-4})$，显著优于原始GDA，并在类似假设下的单循环方法中实现了最佳已知收敛速率。

ABSTRACT

Gradient descent ascent (GDA), the simplest single-loop algorithm for nonconvex minimax optimization, is widely used in practical applications such as generative adversarial networks (GANs) and adversarial training. Albeit its desirable simplicity, recent work shows inferior convergence rates of GDA in theory even assuming strong concavity of the objective on one side. This paper establishes new convergence results for two alternative single-loop algorithms -- alternating GDA and smoothed GDA -- under the mild assumption that the objective satisfies the Polyak-Lojasiewicz (PL) condition about one variable. We prove that, to find an $ε$-stationary point, (i) alternating GDA and its stochastic variant (without mini batch) respectively require $O(κ^{2} ε^{-2})$ and $O(κ^{4} ε^{-4})$ iterations, while (ii) smoothed GDA and its stochastic variant (without mini batch) respectively require $O(κε^{-2})$ and $O(κ^{2} ε^{-4})$ iterations. The latter greatly improves over the vanilla GDA and gives the hitherto best known complexity results among single-loop algorithms under similar settings. We further showcase the empirical efficiency of these algorithms in training GANs and robust nonlinear regression.

研究动机与目标

• 解决在缺乏强凹性时单循环极小化极大算法收敛速率的差距。
• 在单循环设置下，改善对条件数$\kappa$和精度$\epsilon$的依赖关系。
• 在PL条件下，为AGDA和光滑GDA建立更紧的迭代和样本复杂度边界。
• 在训练GAN和鲁棒回归中，展示光滑GDA的实证优越性。

提出的方法

• 提出交替GDA（AGDA）和光滑GDA作为非凸极小化极大问题中原始GDA的单循环替代方法。
• 在$y$变量上分析PL条件下的收敛性，放宽对强凹性的需求。
• 使用李雅普诺夫函数和递归不等式来界定迭代点与最优解之间的差距。
• 通过在原对偶间隙上应用压缩论证来建立收敛性，利用光滑性和PL性质。
• 通过将原函数间隙与最大函数梯度范数关联，推导出迭代复杂度边界。
• 在GAN训练和非线性回归上实证验证性能，与Adam、RMSProp及标准Stoc-AGDA进行比较。

实验结果

研究问题

• RQ1 当不假设强凹性时，单循环算法能否实现优于原始GDA的收敛速率？
• RQ2 在PL条件下，单循环极小化极大算法对条件数$\kappa$和精度$\epsilon$的最优依赖关系是什么？
• RQ3 在理论和实践中，光滑GDA是否优于标准AGDA，尤其是在随机设置下？
• RQ4 光滑GDA的理论复杂度是否能在GAN训练和鲁棒回归中得到实证匹配？

主要发现

• 光滑GDA在确定性设置下实现$O(\kappa\epsilon^{-2})$的迭代复杂度，相较于原始GDA在相同假设下的$O(\kappa^2\epsilon^{-2})$有显著提升。
• 光滑GDA的随机变体需要$O(\kappa^2\epsilon^{-4})$次迭代，这是在无小批量设置下单循环算法中最佳已知的样本复杂度。
• 在确定性情况下，交替GDA需要$O(\kappa^2\epsilon^{-2})$次迭代，在随机情况下需要$O(\kappa^4\epsilon^{-4})$次迭代，仍优于原始GDA。
• 实证结果表明，采用自适应步长的光滑GDA在训练GAN和鲁棒回归中表现与Adam和RMSProp相当或更优。
• 理论分析证实，光滑GDA在PL条件下实现了单循环方法中最佳已知的收敛速率。
• 该论文确立了条件数$\kappa = l/\mu$控制收敛性，且光滑GDA相比标准GDA降低了其依赖性。