[论文解读] Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems

Hongchang Gao|arXiv (Cornell University)|Dec 6, 2022

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

该论文提出了一种新颖的去中心化随机梯度下降上升（DSGDA）方法，用于在分布式设置下求解有限和极小极大问题，通过方差缩减和梯度追踪技术，实现了最优的样本复杂度与通信复杂度。该方法在非凸-强凹问题上建立了 $O(\frac{\tilde{\rho}^{3}}{(1-\rho)^{2}\tilde{\rho}^{2}}})$ 的样本复杂度和 $O(\frac{\tilde{\rho}^{3}}{(1-\rho)^{2}\tilde{\rho}^{2}}})$ 的通信复杂度，相较于以往的去中心化方法在理论效率和实际可扩展性方面均表现更优。

ABSTRACT

Minimax optimization problems have attracted significant attention in recent years due to their widespread application in numerous machine learning models. To solve the minimax problem, a wide variety of stochastic optimization methods have been proposed. However, most of them ignore the distributed setting where the training data is distributed on multiple workers. In this paper, we developed a novel decentralized stochastic gradient descent ascent method for the finite-sum minimax problem. In particular, by employing the variance-reduced gradient, our method can achieve $O(\frac{\sqrt{n}κ^3}{(1-λ)^2ε^2})$ sample complexity and $O(\frac{κ^3}{(1-λ)^2ε^2})$ communication complexity for the nonconvex-strongly-concave minimax problem. As far as we know, our work is the first one to achieve such theoretical complexities for this kind of minimax problem. At last, we apply our method to AUC maximization, and the experimental results confirm the effectiveness of our method.

研究动机与目标

• 解决分布式机器学习设置下有限和极小极大问题缺乏高效去中心化优化方法的问题。
• 克服现有去中心化随机方法在非凸-强凹极小极大问题中通信与样本复杂度过高的缺陷。
• 利用方差缩减与梯度追踪技术，提升去中心化系统中的收敛效率。
• 实现理论上的通信与样本复杂度边界，使其与现有最先进方法相比达到或超越。
• 在 AUC 最大化任务上验证该方法，证明其在真实世界去中心化学习任务中的实际有效性。

提出的方法

• 提出一种去中心化随机梯度下降上升（DSGDA）算法，运行于具有 $K$ 个工作者的对等网络中，每个工作者维护本地数据与模型参数。
• 采用基于本地采样策略的方差缩减随机梯度，以降低梯度噪声并提升收敛性。
• 集成梯度追踪机制，实现工作者间局部梯度的同步，确保在去中心化数据下仍能实现全局收敛。
• 采用有限和结构，每个工作者在其本地数据集 $f_i^{(k)}(\boldsymbol{x}, \boldsymbol{y})$ 上计算梯度，避免全批量梯度计算。
• 设计一种通信高效的协议，在保持非凸性 $\boldsymbol{x}$ 和强凹性 $\boldsymbol{y}$ 下的收敛性保证的同时，最小化数据传输。
• 理论分析依赖于对局部梯度与全局平均值之间偏差的有界性，以及对迭代过程中梯度估计误差的追踪。

实验结果

研究问题

• RQ1 去中心化随机算法能否在有限和非凸-强凹极小极大问题上实现最优的样本与通信复杂度？
• RQ2 所提出的 DSGDA 方法相较于现有去中心化随机与有限和方法，在收敛速度与通信成本方面表现如何？
• RQ3 方差缩减与梯度追踪对去中心化极小极大优化中收敛行为的影响是什么？
• RQ4 该方法能否在去中心化设置下有效应用于 AUC 最大化等实际问题？
• RQ5 该方法是否避免了如 GT-SRVR 中周期性全梯度计算带来的计算开销？

主要发现

• 所提出的 DSGDA 方法实现了每工作者 $O\left(\frac{\sqrt{n}\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$ 的样本复杂度，优于 GT-SRVR 的 $O\left(n + \frac{\sqrt{n}\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$，因其避免了周期性全梯度计算。
• 通信复杂度为 $O\left(\frac{\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$，与最佳已知有限和方法 GT-SRVR 相当，并优于 DM-HSGD 的 $O\left(\frac{\kappa^{3}}{(1-\lambda)^{2}\epsilon^{3}}\right)$。
• 该方法是首个在去中心化设置下实现非凸-强凹有限和极小极大问题如此低通信复杂度的方法。
• 在 AUC 最大化任务上的实验结果证实了该方法在去中心化学习环境中的有效性与可扩展性。
• 理论分析表明，收敛速率依赖于条件数 $\kappa$、谱隙 $1-\lambda$ 和解精度 $\epsilon$，且在所有参数上均达到最优缩放。
• 该方法避免了全梯度计算，相较于 GT-SRVR（周期性计算全梯度）显著降低了计算开销。