[论文解读] Error Compensated Distributed SGD Can Be Accelerated

Xun Qian, Peter Richtárik+1 more|arXiv (Cornell University)|Sep 30, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用 8

一句话总结

该论文提出了一种误差补偿无环Katyusha方法，这是一种新颖的加速分布式SGD算法，将梯度压缩与误差反馈相结合，适用于任意收缩压缩器。该方法首次建立了误差补偿压缩SGD的加速线性收敛速率，在实践中显著减少了通信轮次，同时为有偏和无偏压缩器提供了理论保证。

ABSTRACT

Gradient compression is a recent and increasingly popular technique for reducing the communication cost in distributed training of large-scale machine learning models. In this work we focus on developing efficient distributed methods that can work for any compressor satisfying a certain contraction property, which includes both unbiased (after appropriate scaling) and biased compressors such as RandK and TopK. Applied naively, gradient compression introduces errors that either slow down convergence or lead to divergence. A popular technique designed to tackle this issue is error compensation/error feedback. Due to the difficulties associated with analyzing biased compressors, it is not known whether gradient compression with error compensation can be combined with Nesterov's acceleration. In this work, we show for the first time that error compensated gradient compression methods can be accelerated. In particular, we propose and study the error compensated loopless Katyusha method, and establish an accelerated linear convergence rate under standard assumptions. We show through numerical experiments that the proposed method converges with substantially fewer communication rounds than previous error compensated algorithms.

研究动机与目标

• 开发一种加速的分布式优化方法，结合梯度压缩与误差补偿，以提高通信效率。
• 填补在使用有偏压缩器（如TopK或RandK）时加速误差补偿SGD的理论空白。
• 在标准光滑性和凸性假设下，为一大类压缩器建立线性收敛速率。
• 通过实证结果证明，所提方法在收敛时所需的通信轮次显著少于以往的误差补偿算法。

提出的方法

• 提出误差补偿无环Katyusha方法，即Nesterov加速SGD在分布式设置下结合梯度压缩的变体。
• 引入一种新颖的李雅普诺夫函数分析方法，以处理压缩器引入的偏差，从而在压缩器满足收缩性质时实现收敛性证明。
• 采用误差反馈机制，在迭代过程中追踪并校正量化误差，确保在压缩引入偏差的情况下仍能收敛。
• 使用基于动量的更新规则，结合自适应步长和误差补偿，实现加速。
• 采用统一框架分析收敛性，适用于无偏和有偏压缩器，包括TopK和RandK。
• 通过涉及期望误差、梯度范数和误差反馈项的递归不等式建立收敛性。

实验结果

研究问题

• RQ1 当使用有偏压缩器（如TopK或RandK）时，能否实现误差补偿分布式SGD的加速？
• RQ2 在标准光滑性和凸性假设下，能否实现误差补偿压缩SGD的线性收敛？
• RQ3 能否将误差补偿SGD的收敛速率提升至与Katyusha等加速方法相当？
• RQ4 在通信效率方面，所提方法与现有误差补偿算法相比如何？
• RQ5 在分布式优化中，将误差反馈与Nesterov型加速相结合的理论影响是什么？

主要发现

• 所提误差补偿无环Katyusha方法对任意收缩压缩器的分布式SGD实现了加速线性收敛速率。
• 该方法首次为误差补偿压缩SGD提供了加速的理论保证，解决了长期存在的开放性问题。
• 数值实验表明，该方法在收敛时所需的通信轮次显著少于以往的误差补偿算法。
• 在相同假设下，其收敛速率与标准Katyusha方法一致，证明即使在压缩和误差反馈下，加速特性依然保持。
• 该分析适用于有偏和无偏压缩器（包括TopK和RandK），在统一框架下成立。
• 通过误差反馈，方法有效控制了误差累积，实现了在高比例压缩下的稳定且快速收敛。