[论文解读] A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning

Samuel Horváth, Peter Richtárik|arXiv (Cornell University)|Jun 19, 2020

Stochastic Gradient Optimization Techniques参考文献 62被引用 20

一句话总结

本文提出一种新颖方法，通过压缩误差反馈机制，将任意收缩性（有偏）压缩器（如Top-K）转换为无偏的‘诱导压缩器’，从而可直接使用高效且无偏的通信方法。该方法在收敛性、内存使用和理论保证方面优于传统误差反馈，且在深度学习模型上得到实证验证。

ABSTRACT

Modern large-scale machine learning applications require stochastic optimization algorithms to be implemented on distributed compute systems. A key bottleneck of such systems is the communication overhead for exchanging information across the workers, such as stochastic gradients. Among the many techniques proposed to remedy this issue, one of the most successful is the framework of compressed communication with error feedback (EF). EF remains the only known technique that can deal with the error induced by contractive compressors which are not unbiased, such as Top-$K$. In this paper, we propose a new and theoretically and practically better alternative to EF for dealing with contractive compressors. In particular, we propose a construction which can transform any contractive compressor into an induced unbiased compressor. Following this transformation, existing methods able to work with unbiased compressors can be applied. We show that our approach leads to vast improvements over EF, including reduced memory requirements, better communication complexity guarantees and fewer assumptions. We further extend our results to federated learning with partial participation following an arbitrary distribution over the nodes, and demonstrate the benefits thereof. We perform several numerical experiments which validate our theoretical findings.

研究动机与目标

• 为解决分布式机器学习中的通信瓶颈，改进当前处理有偏压缩器（如Top-K）的标准方法——误差反馈（EF）。
• 开发一种理论严谨且实际性能更优的EF替代方案，消除对维护误差向量的需求，从而降低内存开销。
• 证明：当正确构建时，无偏压缩器在收敛速度和稳定性方面优于有偏压缩器搭配EF的方法。
• 将该框架扩展至具有任意客户端参与模式的联邦学习，展示其鲁棒性与可扩展性。

提出的方法

• 提出一种通用构造方法，通过将有偏压缩器与第二个无偏压缩器结合，将任意收缩性压缩器转换为无偏的‘诱导压缩器’。
• 使用压缩形式的误差反馈来维持无偏性，同时避免存储完整的误差向量，从而降低内存使用。
• 将现有无偏通信方法（如DCSGD、DIANA、ADIANA）应用于诱导压缩器，利用其理论收敛保证。
• 将诱导压缩器设计为两阶段过程：首先应用有偏压缩器（如Top-a），然后在残差上应用无偏压缩器（如Rand-(K-a)）。
• 确保生成的诱导压缩器保持无偏性，同时保留原始有偏压缩器的低方差优势。
• 理论分析表明，与EF相比，该方法在通信复杂度上更优，且假设更少，尤其在联邦学习中节点部分参与的情况下表现更佳。

实验结果

研究问题

• RQ1 能否开发一种通用方法，将任意收缩性（有偏）压缩器转换为无偏压缩器，而无需依赖传统误差反馈？
• RQ2 所提出的诱导压缩器在收敛速度、内存效率和通信复杂度方面是否优于误差反馈？
• RQ3 诱导压缩器能否在具有任意客户端参与模式的联邦学习中有效应用？
• RQ4 与误差反馈及无偏基线方法（如Rand-K或梯度稀疏化）相比，诱导压缩器在实证上表现如何？
• RQ5 在假设条件和收敛性保证方面，诱导压缩器相比EF有何理论优势？

主要发现

• 在多个深度学习模型（包括VGG11和ResNet18）中，诱导压缩器在收敛速度和稳定性方面均优于误差反馈。
• 该方法通过消除对存储完整误差向量的需求，显著降低了内存使用，优于传统误差反馈。
• 实证结果表明，诱导压缩器在低通信预算下显著优于Top-K搭配EF以及无偏的Rand-K方法。
• 当应用于已为无偏的压缩器（如TernGrad）时，误差反馈会降低性能，证实EF在这些情况下不仅不必要，甚至可能有害。
• 理论分析确认，诱导压缩器在通信复杂度上优于EF，且假设更少，尤其在联邦学习中存在部分节点参与的情况下表现更优。
• 诱导压缩器使高效率的有偏压缩器（如Top-K）可无收敛问题地使用，同时避免了EF带来的内存开销。