[论文解读] Local SGD: Unified Theory and New Efficient Methods

Eduard Gorbunov, Filip Hanzely+1 more|arXiv (Cornell University)|Nov 3, 2020

Stochastic Gradient Optimization Techniques参考文献 54被引用 10

一句话总结

本文提出了一套统一的理论框架，用于分析分布式和联邦学习中凸与强凸设置下的局部SGD方法。该框架引入了一种通用的算法结构，支持异构数据、可变的本地步数以及先进的梯度估计器（包括位移变体），实现了首个在无需数据同质性或强假设条件下实现线性收敛的局部SGD方法。

ABSTRACT

We present a unified framework for analyzing local SGD methods in the convex and strongly convex regimes for distributed/federated training of supervised machine learning models. We recover several known methods as a special case of our general framework, including Local-SGD/FedAvg, SCAFFOLD, and several variants of SGD not originally designed for federated learning. Our framework covers both the identical and heterogeneous data settings, supports both random and deterministic number of local steps, and can work with a wide array of local stochastic gradient estimators, including shifted estimators which are able to adjust the fixed points of local iterations for faster convergence. As an application of our framework, we develop multiple novel FL optimizers which are superior to existing methods. In particular, we develop the first linearly converging local SGD method which does not require any data homogeneity or other strong assumptions.

研究动机与目标

• 开发一个通用、统一的理论框架，用于分析分布式和联邦学习中的局部随机一阶方法。
• 支持多种设置，包括客户端间数据完全相同、异构，以及部分异构（ζ-异构）的数据分布。
• 整合灵活的本地步数（随机或确定性）以及先进的梯度估计器，如位移、方差缩减或重要性采样变体。
• 在最小假设条件下实现收敛性分析，特别是消除了实现线性收敛对数据同质性的依赖。
• 基于该框架推导出新型、更优的联邦学习优化器，超越现有方法。

提出的方法

• 提出一个通用的算法族，通过交替执行本地更新和全局平均实现，由通信指示符 $ c_k \in \{0,1\} $ 参数化，其中 $ c_k = 1 $ 触发同步。
• 引入一个参数化假设（假设2.3），用于捕捉局部梯度估计器的行为，包括位移梯度和方差缩减变体。
• 推导出以问题光滑性、方差和本地步数表示的紧致收敛速率上界，表达为 $ \mathcal{O}\left(\frac{a}{\gamma_0 K} + \frac{\sqrt{ab_1}}{K} + \cdots \right) $，其中 $ a, b_1, b_2, c_1, c_2 $ 依赖于局部估计器的性质。
• 支持多种梯度估计器类型：方差的统一有界性（UBV）、期望光滑性（ES），以及简单或方差缩减变体。
• 将该框架应用于恢复已知方法（如FedAvg、SCAFFOLD）并推导出新方法，包括S*-Local-SGD和S-Local-SVRG。
• 采用一种新颖的分析技术，分离位移梯度的固定点校正效应，从而在无需数据同质性假设下实现收敛。

实验结果

研究问题

• RQ1 能否通过单一理论框架统一分析凸与强凸条件下各类局部SGD方法？
• RQ2 如何系统性地将位移梯度估计器整合到局部SGD中，以校正固定点误差并提升收敛性能？
• RQ3 在异构数据分布下，不假设数据同质性时，局部SGD的收敛性保证是什么？
• RQ4 能否从统一框架中系统性地推导出更高效的新局部SGD变体，使其优于现有方法？
• RQ5 可变的本地步数以及先进梯度估计器（如重要性采样、方差缩减）对收敛速率有何影响？

主要发现

• 该框架可将FedAvg和SCAFFOLD等已知方法作为特例恢复，证明了其通用性。
• 本文首次推导出一种无需数据同质性或对数据相似性施加强假设即可实现线性收敛的局部SGD方法。
• 对于采用UBV和异构数据的S*-Local-SGD变体，收敛速率为 $ \mathcal{O}\left(\frac{\sigma^2}{nK} + \frac{L^2}{K} \right) $，与已知速率一致，但假设条件更弱。
• 基于ES的估计器支持重要性采样，并在无需额外光滑性或方差假设下实现收敛。
• 该框架支持设计新型优化器（如SS-Local-SGD和S-Local-SVRG），在异构数据条件下实现更优的收敛性能。
• 分析表明，位移梯度估计器通过校正本地迭代的固定点，显著提升收敛性能，尤其在非独立同分布（non-iid）设置下效果更明显。