[论文解读] A Double Residual Compression Algorithm for Efficient Distributed Learning

Xiaorui Liu, Li Yao+2 more|arXiv (Cornell University)|Oct 16, 2019

Stochastic Gradient Optimization Techniques参考文献 30被引用 14

一句话总结

本文提出 DORE，一种双残差压缩算法，可在分布式随机梯度下降中同时压缩梯度和模型参数，将通信成本降低 95% 以上，同时保持收敛速度和模型精度。该方法采用基于残差的压缩策略，对强凸和非凸目标函数均提供理论保证，且无需有界梯度假设。

ABSTRACT

Large-scale machine learning models are often trained by parallel stochastic gradient descent algorithms. However, the communication cost of gradient aggregation and model synchronization between the master and worker nodes becomes the major obstacle for efficient learning as the number of workers and the dimension of the model increase. In this paper, we propose DORE, a DOuble REsidual compression stochastic gradient descent algorithm, to reduce over $95\%$ of the overall communication such that the obstacle can be immensely mitigated. Our theoretical analyses demonstrate that the proposed strategy has superior convergence properties for both strongly convex and nonconvex objective functions. The experimental results validate that DORE achieves the best communication efficiency while maintaining similar model accuracy and convergence speed in comparison with start-of-the-art baselines.

研究动机与目标

• 解决因高体积梯度与模型同步导致的分布式机器学习通信瓶颈问题。
• 克服先前工作仅压缩梯度的局限性，引入有效的模型压缩机制。
• 提出一种理论基础扎实的方法，在弱假设条件下确保收敛性，包括无需有界梯度要求。
• 在不牺牲模型精度或收敛速度的前提下，实现优于当前最先进基线方法的通信效率。

提出的方法

• 提出一种双残差压缩机制，用于在每次迭代中同时压缩随机梯度和模型参数更新。
• 采用基于残差的压缩策略，即压缩当前与前一时刻的模型/梯度之间的差异，以减少冗余。
• 对残差分量应用无偏量化和稀疏化技术，以最小化传输过程中的信息损失。
• 将压缩机制集成到参数服务器框架中，使梯度和模型参数在传输至主节点前均被压缩。
• 设计两级压缩流程：首先压缩梯度残差，然后压缩模型参数残差，从而实现高比率压缩。
• 理论分析表明，该方法在强凸和非凸目标函数下均能收敛，且收敛速率与梯度有界性无关。

实验结果

研究问题

• RQ1 能否通过联合压缩梯度和模型参数，在分布式学习中显著降低通信开销？
• RQ2 所提出的双残差压缩策略是否能在弱假设条件下（如无需有界梯度要求）保持收敛性？
• RQ3 在凸与非凸优化设置下，DORE 的通信效率与当前最先进方法相比如何？
• RQ4 在凸情况下，DORE 是否能在保持高比率压缩和低误差累积的同时实现线性收敛？
• RQ5 压缩参数（如块大小、压缩级别）对算法稳定性和性能有何影响？

主要发现

• 与全精度 SGD 相比，DORE 将整体通信成本降低超过 95%，显著缓解了通信瓶颈。
• 在使用全梯度的凸情况下，DORE 实现线性收敛，与 SGD 和 DIANA 表现一致，而 QSGD、MEM-SGD 和 DoubleSqueeze 仅收敛至最优解的邻域。
• 在非凸设置下（LeNet 在 MNIST 上，ResNet18 在 CIFAR10 上），DORE 的收敛速度和测试精度与全精度 SGD 及其他量化基线方法相当。
• 在相同压缩方法下，DORE 的收敛速度优于 DoubleSqueeze，且在使用 top-k 稀疏化时性能与 DoubleSqueeze 相当。
• 在低带宽条件下，单次迭代的耗时显著降低，证明了 DORE 在真实网络环境中的优势。
• 梯度和模型残差的范数呈指数下降，这解释了实验中观察到的线性收敛行为。