[论文解读] Communication-Efficient Distributed Deep Learning: Survey, Evaluation, and Challenges.

Shaohuai Shi, Zhenheng Tang+4 more|arXiv (Cornell University)|May 27, 2020

Brain Tumor Detection and Classification被引用 2

一句话总结

本文综述了通信高效的分布式深度学习技术，将其分类为优化算法、系统架构和通信基础设施三类。在32-GPU集群上，使用10Gbps和100Gbps网络对七种方法进行了评估，结果表明，通信压缩技术能显著提升可扩展性和训练效率，尤其是在高延迟条件下。

ABSTRACT

In recent years, distributed deep learning techniques are widely deployed to accelerate the training of deep learning models by exploiting multiple computing nodes. However, the extensive communications among workers dramatically limit the system scalability. In this article, we provide a systematic survey of communication-efficient distributed deep learning. Specifically, we first identify the communication challenges in distributed deep learning. Then we summarize the state-of-the-art techniques in this direction, and provide a taxonomy with three levels: optimization algorithm, system architecture, and communication infrastructure. Afterwards, we present a comparative study on seven different distributed deep learning techniques on a 32-GPU cluster with both 10Gbps Ethernet and 100Gbps InfiniBand. We finally discuss some challenges and open issues for possible future investigations.

研究动机与目标

• 识别分布式深度学习中阻碍系统可扩展性的关键通信挑战。
• 提供一个涵盖三个层次的通信高效技术的全面分类体系：优化算法、系统架构和通信基础设施。
• 在不同网络条件下，对32-GPU集群上的七种主流分布式训练技术进行实证评估。
• 分析网络带宽和延迟对训练性能与通信效率的影响。
• 突出通信高效深度学习中的开放挑战与未来研究方向。

提出的方法

• 本文提出一个三级分类体系：优化算法（如梯度压缩）、系统架构（如参数服务器与环形All-Reduce）以及通信基础设施（如网络拓扑与协议）。
• 对七种代表性技术进行了评估，包括梯度量化、稀疏化和模型平均等方法，在32-GPU集群上进行实验。
• 实验使用10Gbps以太网和100Gbps InfiniBand，以评估在不同网络带宽和延迟下的性能表现。
• 评估重点聚焦于训练加速比、通信开销以及不同深度学习工作负载下的收敛行为。
• 采用标准基准测试，比较不同技术在通信效率与可扩展性方面的表现。
• 进行了对比分析，以识别通信压缩、收敛稳定性与计算开销之间的权衡。

实验结果

研究问题

• RQ1 不同通信高效技术如何影响分布式深度学习中的训练加速比与可扩展性？
• RQ2 网络带宽（10Gbps与100Gbps）对通信高效训练方法性能有何影响？
• RQ3 哪些优化算法与系统架构能在通信压缩与模型收敛之间取得最佳平衡？
• RQ4 在通信开销与训练精度方面，梯度压缩与稀疏化技术相比有何差异？
• RQ5 在实现更高效的分布式训练通信方面，主要瓶颈与开放挑战是什么？

主要发现

• 通信高效技术显著减少了训练时间，尤其在低带宽网络（如10Gbps以太网）下效果更明显。
• 如梯度量化与稀疏化等技术可将通信量减少高达90%，且不会造成显著的精度损失。
• 100Gbps InfiniBand网络相比10Gbps以太网能实现更快的收敛速度与更高的吞吐量，但通信压缩技术仍能带来显著收益。
• 系统架构的选择——尤其是参数服务器与All-Reduce架构的对比——对通信效率与可扩展性有明显影响。
• 部分通信压缩方法在高压缩率下会引入收敛不稳定性，尤其在极端压缩条件下。
• 本研究发现，网络延迟而非仅带宽，是决定通信高效技术有效性的关键因素。