[论文解读] Communication Optimization Strategies for Distributed Deep Learning: A Survey

Shuo Ouyang, Dezun Dong+2 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Neural Network Applications被引用 10

一句话总结

本综述对分布式深度学习中的通信优化策略进行了全面分析，将技术分类为算法级与网络级方法。通过模型压缩、梯度稀疏化以及通信-计算重叠等手段减少通信频率与数据量，同时借助优化的协议与拓扑结构提升网络效率，最终在带宽受限环境中加速分布式DNN训练。

ABSTRACT

Recent trends in high-performance computing and deep learning lead to a proliferation of studies on large-scale deep neural network (DNN) training. However, the frequent communication requirements among computation nodes drastically slow down the overall training speed, which makes the bottleneck in distributed training, particularly in clusters with limited network bandwidth. To mitigate the drawbacks of distributed communication, researchers have proposed various optimization strategies. In this paper, we give a comprehensive survey of communication strategies from both algorithm and computer network perspectives. Algorithm optimizations focus on reducing the amount of communication in distributed training, while network optimizations focus on speeding up the communication between distributed devices. At the algorithm level, we describe how to reduce the number of communication rounds and transmitted bits per round, besides we shed light on how to overlap computation and communication. At the network level, we discuss the effect caused by network infrastructures, including communication schemes, network protocols, and topology. Finally, we extrapolate potential challenges and research directions for communication acceleration in distributed DNN training.

研究动机与目标

• 分析通信在低带宽集群中分布式深度学习训练中的瓶颈作用。
• 识别并分类可减少通信轮次与传输数据量的算法策略。
• 研究通信方案、协议与拓扑结构等网络级优化，以提升通信效率。
• 综合分析计算与通信重叠机制，以提升训练吞吐量。
• 概述未来在通过通信优化加速分布式DNN训练方面面临的研究挑战与方向。

提出的方法

• 提出梯度稀疏化与量化等算法优化方法，以减少每轮通信的传输比特数。
• 引入改进的聚合与更新策略，以最小化通信轮次数。
• 分析通信-计算重叠机制，以隐藏通信延迟并提升资源利用率。
• 评估网络基础设施对通信性能的影响，包括RDMA等协议及胖树形等网络拓扑。
• 对参数服务器与环形AllReduce等通信方案进行分类，评估其可扩展性与效率。
• 回顾网络协议与硬件支持（如高速互连）对端到端训练性能的影响。

实验结果

研究问题

• RQ1 如何在不损害模型收敛性的前提下，最小化分布式DNN训练中的通信轮次？
• RQ2 哪些算法技术能有效减少每轮通信中的数据传输量？
• RQ3 计算与通信在多大程度上可实现重叠以提升训练效率？
• RQ4 网络协议与拓扑结构在分布式深度学习系统中如何影响通信性能？
• RQ5 未来在实现可扩展且高效的通信方面，关键的开放挑战是什么？

主要发现

• 梯度稀疏化与量化等算法优化显著减少了每轮通信的传输数据量，提升了带宽效率。
• 能够将通信与计算重叠的技术可有效隐藏通信延迟，提升整体训练吞吐量。
• 网络级优化，包括高速互连与高效协议（如RDMA），在大规模集群中显著降低了通信开销。
• 通信方案的选择（如参数服务器或环形AllReduce）对可扩展性与训练性能有明显影响。
• 网络拓扑在决定通信瓶颈方面起着关键作用，尤其是在大规模分布式系统中。
• 未来研究应聚焦于自适应通信策略，根据网络状态与模型特征动态调整。