[论文解读] A Unified Analysis of Stochastic Gradient Methods for Nonconvex Federated Optimization

Zhize Li, Peter Richtárik|arXiv (Cornell University)|Jun 12, 2020

Stochastic Gradient Optimization Techniques参考文献 39被引用 24

一句话总结

本文通过提出对随机梯度二阶矩的灵活假设，为非凸联邦优化中的随机梯度方法提供了一套统一的收敛性分析。该分析统一了多种方法（包括SGD、SVRG、SAGA及其压缩通信变体）的收敛性分析，在标准条件下给出了精确的收敛速率，并为此前未被分析的方法提供了新结果。

ABSTRACT

In this paper, we study the performance of a large family of SGD variants in the smooth nonconvex regime. To this end, we propose a generic and flexible assumption capable of accurate modeling of the second moment of the stochastic gradient. Our assumption is satisfied by a large number of specific variants of SGD in the literature, including SGD with arbitrary sampling, SGD with compressed gradients, and a wide variety of variance-reduced SGD methods such as SVRG and SAGA. We provide a single convergence analysis for all methods that satisfy the proposed unified assumption, thereby offering a unified understanding of SGD variants in the nonconvex regime instead of relying on dedicated analyses of each variant. Moreover, our unified analysis is accurate enough to recover or improve upon the best-known convergence results of several classical methods, and also gives new convergence results for many new methods which arise as special cases. In the more general distributed/federated nonconvex optimization setup, we propose two new general algorithmic frameworks differing in whether direct gradient compression (DC) or compression of gradient differences (DIANA) is used. We show that all methods captured by these two frameworks also satisfy our unified assumption. Thus, our unified convergence analysis also captures a large variety of distributed methods utilizing compressed communication. Finally, we also provide a unified analysis for obtaining faster linear convergence rates in this nonconvex regime under the PL condition.

研究动机与目标

• 通过单一、灵活的假设统一非凸优化中广泛类随机梯度方法的收敛性分析。
• 提供一个统一的理论框架，涵盖联邦学习中SGD、SVRG、SAGA及其压缩通信变体等现有方法。
• 为标准方法和新方法（包括梯度压缩与方差减少方法）推导出精确的收敛速率。
• 将统一分析扩展至PL条件情形，使广泛算法类实现线性收敛速率。
• 通过所提框架实现即插即用的收敛性保证，促进新型SGD变体的设计。

提出的方法

• 提出对随机梯度二阶矩的统一假设，参数化为 $ A_1, B_1, C_1, D_1, \sigma_k^2, \rho $，可涵盖多种梯度估计器。
• 为具有压缩通信的分布式非凸优化提出两种算法框架——DC（直接压缩）和DIANA（梯度差分压缩）。
• 证明DC与DIANA框架内所有方法均满足所提出的统一假设，从而实现单一收敛性分析。
• 在标准光滑性和有界梯度假设下，推导非凸问题的统一收敛定理。
• 将分析扩展至Polyak-Łojasiewicz（PL）条件，推导同一类方法的线性收敛速率。
• 采用含参数 $ A_2, B_2, C_2 $ 的递推不等式框架，以有界期望次优性并推导迭代复杂度界。

实验结果

研究问题

• RQ1 能否通过单一理论框架统一非凸优化中多样化SGD变体的收敛性分析？
• RQ2 如何在统一的理论框架下系统分析梯度压缩与方差减少？
• RQ3 对于作为所提统一框架特例的新方法，可推导出何种收敛速率？
• RQ4 能否将分析扩展至PL条件情形，以实现广泛方法类的线性收敛？
• RQ5 在统一框架下，DIANA-LSVRG与DIANA-SAGA等方法的最紧可达迭代复杂度界为何？

主要发现

• 所提出的统一假设可涵盖SGD、SVRG、SAGA及其压缩变体，实现单一收敛性分析。
• 统一分析在经典方法（如SGD与L-SVRG）上恢复或优于现有最佳收敛速率。
• 在PL条件下，DIANA-LSVRG方法的迭代复杂度被限定为 $ K = \left(1 + \frac{2(1+\omega)B'}{mb\rho}\right)\frac{L}{\mu}\log\frac{2\Delta_0}{\epsilon} $，明确体现出压缩与方差减少的影响。
• DIANA-SAGA方法在PL条件下实现线性收敛，迭代复杂度为 $ K = \left(1 + \frac{2(1+\omega)B'}{mb\rho}\right)\frac{L}{\mu}\log\frac{2\Delta_0}{\epsilon} $，其中 $ B' = (1 - \frac{b}{n})\bar{L}^2\eta^2\gamma^{-1} + Bb^{-1} $。
• 该框架可为此前未被分析的方法（如压缩SAGA与具有有限和目标的DIANA型变体）提供收敛性保证。
• 分析表明，通过DIANA进行梯度压缩在与标准方法相同的条件下保持收敛性，仅导致常数项轻微下降。