[论文解读] Linearly Converging Error Compensated SGD

Eduard Gorbunov, Dmitry Kovalev+2 more|arXiv (Cornell University)|Oct 23, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用 13

一句话总结

本文提出了一套统一的理论框架，用于分析带有误差补偿、压缩和延迟更新的分布式随机优化方法。该框架证明了新型变体（如 EC-SGD-DIANA 和 EC-LSVRG-DIANA）的线性收敛性，即使在使用恒定学习率的情况下，也能实现凸问题和强凸问题的精确收敛，且适用于一般压缩和方差减少机制。

ABSTRACT

In this paper, we propose a unified analysis of variants of distributed SGD with arbitrary compressions and delayed updates. Our framework is general enough to cover different variants of quantized SGD, Error-Compensated SGD (EC-SGD) and SGD with delayed updates (D-SGD). Via a single theorem, we derive the complexity results for all the methods that fit our framework. For the existing methods, this theorem gives the best-known complexity results. Moreover, using our general scheme, we develop new variants of SGD that combine variance reduction or arbitrary sampling with error feedback and quantization and derive the convergence rates for these methods beating the state-of-the-art results. In order to illustrate the strength of our framework, we develop 16 new methods that fit this. In particular, we propose the first method called EC-SGD-DIANA that is based on error-feedback for biased compression operator and quantization of gradient differences and prove the convergence guarantees showing that EC-SGD-DIANA converges to the exact optimum asymptotically in expectation with constant learning rate for both convex and strongly convex objectives when workers compute full gradients of their loss functions. Moreover, for the case when the loss function of the worker has the form of finite sum, we modified the method and got a new one called EC-LSVRG-DIANA which is the first distributed stochastic method with error feedback and variance reduction that converges to the exact optimum asymptotically in expectation with a constant learning rate.

研究动机与目标

• 通过实现高效的梯度压缩和误差反馈，解决分布式和联邦学习中的通信瓶颈。
• 将现有方法（如量化 SGD、EC-SGD 和 D-SGD）统一到单一理论框架下。
• 开发新算法，结合误差反馈与方差减少及任意采样，以提升收敛速度。
• 为新方法（包括 EC-SGD-DIANA 和 EC-LSVRG-DIANA）在恒定学习率下建立线性收敛保证。
• 为框架内所有方法提供紧致的复杂度界，优于当前最先进结果。

提出的方法

• 提出一种包含误差反馈和压缩更新的一般迭代格式：$ x^{k+1} = x^k - \frac{1}{n}\sum_{i=1}^n v_i^k $，$ e_i^{k+1} = e_i^k + \gamma g_i^k - v_i^k $，其中 $ v_i^k $ 为压缩更新。
• 基于单一定理提出统一的分析框架，涵盖所有符合该格式的方法的收敛性。
• 定义一类通用压缩器，具有压缩收缩因子 $ \delta $ 和方差参数 $ \omega $，支持对有偏和无偏压缩的分析。
• 设计 EC-SGD-DIANA，结合误差反馈与有偏压缩算子，并对梯度差值进行量化，实现精确收敛。
• 通过将误差反馈与方差减少（LSVRG）及压缩相结合，开发 EC-LSVRG-DIANA，实现恒定步长下的线性收敛。
• 推导以 $ \varepsilon $-容差、光滑性 $ L $、条件数 $ \kappa $ 和梯度方差表示的复杂度界，表明收敛速率得到提升。

实验结果

研究问题

• RQ1 能否通过单一理论框架统一分析带有压缩、延迟更新和误差反馈的分布式 SGD？
• RQ2 结合误差补偿与方差减少及压缩的新方法的收敛速率如何？
• RQ3 EC-SGD-DIANA 是否能在一般压缩条件下，使用恒定学习率，对凸问题和强凸问题实现线性收敛至精确最优解？
• RQ4 EC-LSVRG-DIANA 是否能在保持方差减少和误差反馈的同时，实现恒定步长下的线性收敛？
• RQ5 在通信效率和收敛速度方面，新方法与现有最先进方法相比的复杂度如何？

主要发现

• 所提出的框架为现有方法（如 EC-SGD 和 D-SGD）提供了目前已知最优的收敛复杂度界。
• EC-SGD-DIANA 是首个结合误差反馈与有偏压缩、且在恒定学习率下对凸问题和强凸问题均能线性收敛至精确最优解的方法。
• EC-LSVRG-DIANA 是首个具有误差反馈与方差减少的分布式随机方法，在工作者计算完整梯度时，能以恒定步长线性收敛至精确最优解。
• 该框架支持紧致复杂度界的推导，表明在强凸设置下，$ \varepsilon $-精度的迭代复杂度为 $ \mathcal{O}\left(\frac{1}{\varepsilon}\right) $。
• EC-LSVRG-DIANA 方法在恒定步长下实现 $ \mathcal{O}\left(\frac{1}{\varepsilon}\right) $ 复杂度，优于以往需要递减步长的方法。
• 该框架支持 16 种新方法，包括采用任意采样和量化的方法变体，所有方法均具有可证明的线性收敛保证。