[论文解读] Don't Fix What ain't Broke: Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization.

Guodong Zhang, Yuanhao Wang+2 more|arXiv (Cornell University)|Feb 18, 2021

Stochastic Gradient Optimization Techniques参考文献 67被引用 7

一句话总结

本文证明了在强凸-强凹极小化极大问题中，交替梯度下降-上升（Alt-GDA）实现了接近最优的局部收敛速率，优于收敛速度显著更慢的同步梯度更新（Sim-GDA）。作者证明了即使在较弱的强凹性假设下，交替更新仍能提供加速效果，并通过在二次博弈和 GAN 训练中的实验验证了这一结论。

ABSTRACT

Minimax optimization has recently gained a lot of attention as adversarial architectures and algorithms proliferate. Often, smooth minimax games proceed by simultaneous or alternating gradient updates. Although algorithms with alternating updates are commonly used in practice for many applications (e.g., GAN training), the majority of existing theoretical analyses focus on simultaneous algorithms. In this paper, we study alternating gradient descent-ascent (Alt-GDA) in minimax games and show that Alt-GDA is superior to its simultaneous counterpart (Sim-GDA) in many settings. In particular, we prove that Alt-GDA achieves a near-optimal local convergence rate for strongly-convex strongly-concave problems while Sim-GDA converges with a much slower rate. Moreover, we show that the acceleration effect of alternating updates remains when the minimax problem has only strong concavity in the dual variables. Numerical experiments on quadratic minimax games validate our claims. Additionally, we demonstrate that alternating updates speed up GAN training significantly and the use of optimism only helps for simultaneous algorithms.

研究动机与目标

• 分析交替梯度下降-上升（Alt-GDA）在极小化极大优化中的局部收敛行为。
• 比较 Alt-GDA 与同步梯度下降-上升（Sim-GDA）在强凸-强凹设定下的收敛速率。
• 研究当仅存在对偶变量的强凹性时，交替更新是否仍能保持加速优势。
• 通过在二次极小化极大博弈和 GAN 训练中的数值实验验证理论结果。

提出的方法

• 使用李雅普诺夫函数对 Alt-GDA 进行理论分析，以建立在强凸-强凹极小化极大问题中的局部收敛速率。
• 在标准光滑性及强凸性/强凹性假设下，推导 Alt-GDA 和 Sim-GDA 的收敛速率。
• 将分析扩展至仅在对偶变量中存在强凹性的设定，表明交替更新仍能持续提供加速效果。
• 在二次极小化极大博弈上进行数值评估，以验证理论预测的收敛速率。
• 在 GAN 训练上进行经验评估，以展示交替更新带来的实际加速效果。
• 对比基于乐观主义的方法，表明其优势仅限于同步算法，对交替更新无益处。

实验结果

研究问题

• RQ1 在强凸-强凹极小化极大问题中，交替梯度下降-上升（Alt-GDA）是否比同步梯度下降-上升（Sim-GDA）具有更快的局部收敛速率？
• RQ2 当仅假设对偶变量具有强凹性时，交替更新的加速效果是否仍能保持？
• RQ3 在极小化极大优化中，交替更新与乐观主义方法相比，收敛速度如何？
• RQ4 Alt-GDA 的理论收敛速率在 GAN 训练等实际场景中在多大程度上成立？

主要发现

• Alt-GDA 在强凸-强凹极小化极大问题中实现了接近最优的局部收敛速率，而 Sim-GDA 收敛速度显著更慢。
• 即使仅存在对偶变量的强凹性，交替更新带来的加速效果依然存在，表明其适用范围更广。
• 在二次极小化极大博弈上的数值实验验证了 Alt-GDA 理论预测的收敛速率。
• 在 GAN 训练中，交替更新显著加快了收敛速度，证明了其在实际应用中的优越性。
• 乐观主义方法仅对同步算法有改善作用，对交替更新无任何益处。
• 在多个基准测试中，Alt-GDA 在理论收敛速度和实际训练动态方面均优于 Sim-GDA。