[论文解读] Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency

Yuyang Deng, Mehrdad Mahdavi|arXiv (Cornell University)|Feb 25, 2021

Stochastic Gradient Optimization Techniques参考文献 52被引用 12

一句话总结

本文提出局部随机梯度下降-上升算法（local SGDA）用于分布式极小极大优化，支持客户端对原变量和对偶变量进行本地更新，并通过周期性平均减少通信开销。该方法在强凸-强凹、非凸-强凹及非凸-非凹设置下建立了收敛性保证，在数据异构环境下实现了可证明的通信效率提升。

ABSTRACT

Local SGD is a promising approach to overcome the communication overhead in distributed learning by reducing the synchronization frequency among worker nodes. Despite the recent theoretical advances of local SGD in empirical risk minimization, the efficiency of its counterpart in minimax optimization remains unexplored. Motivated by large scale minimax learning problems, such as adversarial robust learning and training generative adversarial networks (GANs), we propose local Stochastic Gradient Descent Ascent (local SGDA), where the primal and dual variables can be trained locally and averaged periodically to significantly reduce the number of communications. We show that local SGDA can provably optimize distributed minimax problems in both homogeneous and heterogeneous data with reduced number of communications and establish convergence rates under strongly-convex-strongly-concave and nonconvex-strongly-concave settings. In addition, we propose a novel variant local SGDA+, to solve nonconvex-nonconcave problems. We give corroborating empirical evidence on different distributed minimax problems.

研究动机与目标

• 为解决在联邦学习和 GAN 等大规模学习场景中分布式极小极大优化的高通信成本问题。
• 通过引入周期性平均的本地原-对偶更新机制，将本地 SGD 范式扩展至极小极大问题。
• 在多种设置下（包括数据异构和非凸目标）建立局部 SGDA 的理论收敛速率。
• 提出一种新型变体 local SGDA+，用于处理非凸-非凹问题。

提出的方法

• 提出 local SGDA，即每个客户端在全局平均前对原变量和对偶变量执行多次本地 SGD 步骤。
• 采用参数服务器模型，降低通信频率，在全局平均步骤之间独立更新本地模型。
• 提出一种新颖的分析框架，用于界定本地变量与全局变量之间的偏差，同时考虑数据异构性和本地更新噪声。
• 通过分析本地变量漂移、梯度差异性和数据异构性的影响，推导收敛速率。
• 采用随机逼近与方差缩减技术，控制本地步长中误差的累积。
• 提出 local SGDA+ 作为非凸-非凹问题的扩展，引入额外的稳定化机制。

实验结果

研究问题

• RQ1 在分布式极小极大优化中，本地更新是否能在显著减少通信轮次的情况下实现收敛？
• RQ2 数据异构性如何影响局部 SGDA 在极小极大问题中的收敛性？
• RQ3 在强凸-强凹与非凸-强凹设置下，局部 SGDA 的理论收敛速率如何？
• RQ4 局部 SGDA 能否扩展至处理非凸-非凹问题，且可建立何种收敛保证？
• RQ5 在实际应用中，局部 SGDA 的通信效率相较于标准同步 SGDA 如何？

主要发现

• 在数据异构的强凸-强凹设置下，local SGDA 达到收敛速率 $ O\left(\frac{\kappa^{2}(\Delta_{x}+\Delta_{y}+\sigma^{2})}{\mu nT}\right) $，通信轮次为 $ \Omega(\sqrt{nT}) $。
• 在非凸-强凹设置下，该方法实现速率 $ O\left(\frac{L^{2}\sigma^{2}}{(nT)^{1/3}}\right) $，相比同步方法显著提升通信效率。
• 对于非凸-非凹问题，local SGDA+ 达到收敛速率 $ O\left(\frac{L\sigma^{2}}{T^{1/6}}\right) $，展现出在挑战性 GAN 训练场景中的适用性。
• 分析表明，在同质设置下，通信复杂度相比同步 SGDA 可降低 $ \tilde{O}(n) $ 倍。
• 实验结果验证了理论发现，表明在 GAN 和鲁棒回归等分布式极小极大问题中，训练过程稳定且高效。
• 该方法能有效处理梯度差异性和数据异构性，收敛界明确纳入了 $ \zeta_x $ 和 $ \zeta_y $ 项。