[论文解读] Communication-Efficient Distributed Deep Learning: A Comprehensive Survey

Zhenheng Tang, Shaohuai Shi+3 more|arXiv (Cornell University)|Mar 10, 2020

Stochastic Gradient Optimization Techniques参考文献 210被引用 89

一句话总结

对高效通信的数据并行分布式深度学习的综合综述，提出一个四维分类法（同步、系统架构、压缩和通信-计算并行），基准和收敛性分析。

ABSTRACT

Distributed deep learning (DL) has become prevalent in recent years to reduce training time by leveraging multiple computing devices (e.g., GPUs/TPUs) due to larger models and datasets. However, system scalability is limited by communication becoming the performance bottleneck. Addressing this communication issue has become a prominent research topic. In this paper, we provide a comprehensive survey of the communication-efficient distributed training algorithms, focusing on both system-level and algorithmic-level optimizations. We first propose a taxonomy of data-parallel distributed training algorithms that incorporates four primary dimensions: communication synchronization, system architectures, compression techniques, and parallelism of communication and computing tasks. We then investigate state-of-the-art studies that address problems in these four dimensions. We also compare the convergence rates of different algorithms to understand their convergence speed. Additionally, we conduct extensive experiments to empirically compare the convergence performance of various mainstream distributed training algorithms. Based on our system-level communication cost analysis, theoretical and experimental convergence speed comparison, we provide readers with an understanding of which algorithms are more efficient under specific distributed environments. Our research also extrapolates potential directions for further optimizations.

研究动机与目标

• 引入一个面向通信效率的数据并行分布式训练的分类法。
• 综述最前沿的同步机制、系统架构、压缩技术和调度方法。
• 分析收敛界并进行主流算法的实证比较。
• 提供基准框架并就不同环境下选择算法给出实用建议。

提出的方法

• 提出四维分类法：通信同步、系统架构、压缩技术，以及通信与计算的并行性。
• 回顾 BSP-SGD 及其变体，以及同步、时延同步、异步和 Local-SGD 框架。
• 调查集中式（Parameter Server）和去中心化（All-Reduce、Gossip）架构及其权衡。
• 整理并比较收敛性分析，使用基于 FedML/MPI 的框架提供实证基准测试。
• 总结辅助技巧和未来可能的方向，以优化分布式 DL 的通信。

实验结果

研究问题

• RQ1 在数据并行分布式深度学习中，主导通信效率的主要维度是什么？
• RQ2 不同的同步方案、系统架构、压缩技术以及计算-通信并行性如何影响收敛性和可扩展性？
• RQ3 跨架构的代表性算法有哪些理论收敛保证和实际性能权衡？
• RQ4 在统一的实验设置下，主流算法的实证结果如何比较？
• RQ5 在进一步降低分布式 DL 通信瓶颈方面存在哪些未来方向？

主要发现

• 四维分类法捕捉了数据并行 DL 中通信效率的主要维度。
• 同步、架构、压缩以及重新组合的调度选择在收敛性、拥塞和模型一致性方面产生不同的权衡。
• 实证结果显示 BSP-SGD、ASP-SGD、Local-SGD 和 FedAvg 在统一设置下可以达到相似的准确性，但在工作者数量和时效性（staleness）下性能和稳定性存在差异。
• 异步性可以提升时钟时间，但可能降低收敛性；局部更新（Local-SGD）可以减少通信，但需要仔细的同步频率以避免精度损失。
• 集中式（PS）与去中心化（All-Reduce、Gossip）架构呈现不同的瓶颈、拥塞特征和扩展难易度。