[论文解读] $ exttt{DeepSqueeze}$: Decentralization Meets Error-Compensated Compression

Hanlin Tang, Xiangru Lian+5 more|arXiv (Cornell University)|Jul 17, 2019

Complexity and Algorithms in Graphs参考文献 27被引用 23

一句话总结

本文提出 DeepSqueeze，这是首个用于去中心化随机梯度下降的误差补偿压缩方法，可在保持收敛性的同时实现高比率的梯度压缩。通过在去中心化网络中跨邻居存储并传播压缩误差，DeepSqueeze 相较于现有方法实现了更优的通信效率和更快的收敛速度，具备理论保证，并在深度学习基准上得到实证验证。

ABSTRACT

Communication is a key bottleneck in distributed training. Recently, an \emph{error-compensated} compression technology was particularly designed for the \emph{centralized} learning and receives huge successes, by showing significant advantages over state-of-the-art compression based methods in saving the communication cost. Since the \emph{decentralized} training has been witnessed to be superior to the traditional \emph{centralized} training in the communication restricted scenario, therefore a natural question to ask is "how to apply the error-compensated technology to the decentralized learning to further reduce the communication cost." However, a trivial extension of compression based centralized training algorithms does not exist for the decentralized scenario. key difference between centralized and decentralized training makes this extension extremely non-trivial. In this paper, we propose an elegant algorithmic design to employ error-compensated stochastic gradient descent for the decentralized scenario, named $ exttt{DeepSqueeze}$. Both the theoretical analysis and the empirical study are provided to show the proposed $ exttt{DeepSqueeze}$ algorithm outperforms the existing compression based decentralized learning algorithms. To the best of our knowledge, this is the first time to apply the error-compensated compression to the decentralized learning.

研究动机与目标

• 为解决去中心化分布式训练中的通信瓶颈，通过整合在集中式设置中已取得成功的误差补偿压缩方法，但尚未被适配到去中心化框架中。
• 克服由于集中式与去中心化训练在结构上的差异而带来的非平凡挑战，特别是在高比率压缩下仍能保持收敛性。
• 设计一种支持任意压缩策略的去中心化算法，其压缩比率高于现有方法。
• 提供理论收敛性分析与实证验证，证明其在性能上优于当前最先进的基于压缩的去中心化学习算法。

提出的方法

• 提出 DeepSqueeze，一种结合误差补偿与连通网络中邻居间通信的去中心化随机梯度下降算法。
• 提出一种新型误差传播机制：每个节点存储并累积来自梯度的压缩误差，然后通过压缩算子传输当前梯度与残差误差之和。
• 采用压缩梯度更新规则：$ \bm{g}' \leftarrow C_{\omega}[\bm{g} + \bm{\delta}] $，随后执行误差更新：$ \bm{\delta} \leftarrow (\bm{g} + \bm{\delta}) - C_{\omega}[\bm{g} + \bm{\delta}] $，其中 $ \bm{\delta} $ 为本地存储的残差误差。
• 采用加权混合矩阵 $ W_{\text{eff}} = (1-\eta)I + \eta W $ 建模邻居间通信，确保在去中心化平均下实现收敛。
• 理论分析表明，在标准假设下可实现收敛，收敛速率取决于压缩质量、网络连通性与步长。
• 推导出期望梯度范数与误差项的界，证明当应用误差补偿时，即使在高比率压缩下，该方法仍能保持收敛性。

实验结果

研究问题

• RQ1 能否有效将误差补偿压缩扩展到去中心化训练中，其中通信仅限于邻居而非中心参数服务器？
• RQ2 在去中心化环境中应用误差补偿时，为保持收敛性与稳定性，需要哪些算法上的修改？
• RQ3 与现有基于压缩的去中心化算法相比，所提出的 DeepSqueeze 方法在收敛速度与通信效率方面表现如何？
• RQ4 在高比率压缩与去中心化通信条件下，DeepSqueeze 的理论收敛保证是什么？
• RQ5 DeepSqueeze 是否能够支持广泛的压缩算子，同时保持稳健的性能？

主要发现

• DeepSqueeze 是首个成功将误差补偿压缩应用于去中心化训练的算法，实现了远超以往工作的压缩比率。
• 理论分析表明，DeepSqueeze 在标准假设下可实现线性收敛，收敛速率取决于压缩质量与网络连通性。
• 实证结果表明，DeepSqueeze 在多个深度学习基准上均优于现有基于压缩的去中心化方法，在收敛速度与最终模型精度方面表现更优。
• 该方法实现了 $ \mathbb{E}\left[\|\nabla f(\overline{\bm{x}}_t)\|\right]^2 \lesssim \frac{1}{\sqrt{nT}} + \frac{C_2}{T} $ 的收敛速率，表明其在通信轮次上的收敛速度很快。
• 即使在高比率压缩下，该算法仍保持稳定与高性能，误差补偿有效缓解了压缩引入的偏差。
• 理论界表明，只要步长 $ \gamma \leq \frac{1}{3L\sqrt{C_2}} $，该方法即可保持稳定，确保在标准条件下实现收敛。