[论文解读] Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods

Aleksandr Beznosikov, Eduard Gorbunov+2 more|arXiv (Cornell University)|Feb 15, 2022

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文针对极小极大优化和变分不等式问题（VIPs）中的随机梯度下降-上升（SGDA）方法，提出了一套统一的收敛性分析，通过引入对随机估计的参数化假设，统一了多种变体。该框架恢复或改进了已知的收敛速率，并实现了新型方法，如 L-SVRGDA、QSGDA、DIANA-SGDA、VR-DIANA-SGDA 和 SEGA-SGDA，这些是首次应用于 VIPs 的具有方差缩减、压缩和坐标随机化的算法。

ABSTRACT

Stochastic Gradient Descent-Ascent (SGDA) is one of the most prominent algorithms for solving min-max optimization and variational inequalities problems (VIP) appearing in various machine learning tasks. The success of the method led to several advanced extensions of the classical SGDA, including variants with arbitrary sampling, variance reduction, coordinate randomization, and distributed variants with compression, which were extensively studied in the literature, especially during the last few years. In this paper, we propose a unified convergence analysis that covers a large variety of stochastic gradient descent-ascent methods, which so far have required different intuitions, have different applications and have been developed separately in various communities. A key to our unified framework is a parametric assumption on the stochastic estimates. Via our general theoretical framework, we either recover the sharpest known rates for the known special cases or tighten them. Moreover, to illustrate the flexibility of our approach we develop several new variants of SGDA such as a new variance-reduced method (L-SVRGDA), new distributed methods with compression (QSGDA, DIANA-SGDA, VR-DIANA-SGDA), and a new method with coordinate randomization (SEGA-SGDA). Although variants of the new methods are known for solving minimization problems, they were never considered or analyzed for solving min-max problems and VIPs. We also demonstrate the most important properties of the new methods through extensive numerical experiments.

研究动机与目标

• 在单一理论框架下统一分析多种 SGDA 变体的收敛性，包括具有方差缩减、坐标随机化和通信压缩的变体。
• 弥补对 SGDA 理论理解的空白，特别是针对正则化 VIPs 和具有压缩的分布式设置。
• 开发新型基于 SGDA 的算法——L-SVRGDA、QSGDA、DIANA-SGDA、VR-DIANA-SGDA、SEGA-SGDA，这些算法此前在极小极大和 VIP 问题中尚未被探索。
• 在弱假设下（如准强单调性和星-共 coercivity）建立比现有方法更紧致的收敛速率。
• 通过广泛的数值实验，证明新方法的实际有效性。

提出的方法

• 基于对随机估计的参数化假设，提出一种通用的收敛性分析框架，实现对多种 SGDA 变体的统一分析。
• 在统一框架下，通过将 SVRG 与 SGDA 结合，提出一种新型方差缩减的 SGDA 方法——L-SVRGDA。
• 通过将通信压缩和方差缩减整合到 SGDA 中，提出 QSGDA、DIANA-SGDA 和 VR-DIANA-SGDA，适用于分布式设置。
• 提出 SEGA-SGDA，这是首个针对正则化 VIPs 的坐标随机化 SGDA 方法，利用梯度稀疏化和方差控制。
• 以星-共 coercivity 和准强单调性作为关键假设，推导收敛速率，无需假设有界方差或利普希茨连续性。
• 通过统一分析，推导出对遍历迭代平均的收敛速率，明确依赖于问题参数和步长。

实验结果

研究问题

• RQ1 能否通过单一理论框架统一分析多种 SGDA 变体（包括具有方差缩减、压缩和坐标随机化的变体）的收敛性？
• RQ2 在弱假设（如星-共 coercivity）下，对于新型 SGDA 变体（如 L-SVRGDA、QSGDA 和 SEGA-SGDA）可达到何种收敛速率？
• RQ3 在分布式设置中，新方法在收敛速度和通信效率方面如何比较？
• RQ4 坐标随机化能否成功扩展到极小极大和 VIP 问题中？是否能实现线性收敛？
• RQ5 该统一框架是否能为已知 SGDA 变体提供比现有分析更紧致的收敛速率？

主要发现

• 统一框架恢复或改进了现有 SGDA 变体（包括具有方差缩减和分布式压缩的变体）的最尖锐已知收敛速率。
• SEGA-SGDA 实现了 O(dℓ(Ω₀,𝓒² + Ω₀²)/K + dΩ₀,𝓒G*/K) 的收敛速率，这是正则化 VIPs 中基于坐标的 SGDA 的首次线性收敛结果。
• L-SVRGDA 实现了 O(dℓ(Ω₀,𝓒² + Ω₀²)/K + dΩ₀,𝓒G*/K) 的收敛速率，在极小极大背景下与现有基于 SVRG 的方法相比达到或更优。
• QSGDA 和 DIANA-SGDA 实现了 O(dℓ/μ + dG*²/(μ²ε)) 的复杂度，证明了在分布式 SGDA 中压缩的有效性。
• VR-DIANA-SGDA 结合了方差缩减与压缩，在减少通信开销的同时实现了分布式设置下的改进收敛性能。
• 数值实验在多个基准测试中确认了新方法的优越性能，验证了理论优势。