[论文解读] Is Network the Bottleneck of Distributed Training?

Zhen Zhang, Chaokun Chang+4 more|arXiv (Cornell University)|Jun 17, 2020

Ferroelectric and Negative Capacitance Devices参考文献 23被引用 5

一句话总结

本文研究了网络带宽是否限制了分布式深度学习训练的可扩展性，在 AWS 上测量了真实环境下的性能表现。与普遍认知相反，研究发现网络并未被充分利用（100 Gbps 链路上仅使用约 32 Gbps），而实现接近 100% 的网络利用率可实现无需梯度压缩的近乎线性扩展，表明网络传输优化比应用层技术（如压缩）更为关键。

ABSTRACT

Recently there has been a surge of research on improving the communication efficiency of distributed training. However, little work has been done to systematically understand whether the network is the bottleneck and to what extent. In this paper, we take a first-principles approach to measure and analyze the network performance of distributed training. As expected, our measurement confirms that communication is the component that blocks distributed training from linear scale-out. However, contrary to the common belief, we find that the network is running at low utilization and that if the network can be fully utilized, distributed training can achieve a scaling factor of close to one. Moreover, while many recent proposals on gradient compression advocate over 100x compression ratio, we show that under full network utilization, there is no need for gradient compression in 100 Gbps network. On the other hand, a lower speed network like 10 Gbps requires only 2x--5x gradients compression ratio to achieve almost linear scale-out. Compared to application-level techniques like gradient compression, network-level optimizations do not require changes to applications and do not hurt the performance of trained models. As such, we advocate that the real challenge of distributed training is for the network community to develop high-performance network transport to fully utilize the network capacity and achieve linear scale-out.

研究动机与目标

• 系统评估网络带宽是否为分布式深度学习训练中的真正瓶颈。
• 在真实云环境中测量高带宽网络（如 100 Gbps）上分布式训练期间的实际网络利用率。
• 评估网络传输效率对扩展因子和收敛时间的影响。
• 比较网络级优化与应用级技术（如梯度压缩）的有效性。
• 倡导优先采用高性能网络传输技术，以实现分布式训练的近乎线性扩展。

提出的方法

• 在 AWS 上使用 ResNet50、ResNet101 和 VGG16 模型，通过数据并行和 all-reduce 通信方式，对分布式训练吞吐量进行端到端测量。
• 在通信阶段测量实际网络利用率，发现 100 Gbps 链路上仅使用约 32 Gbps。
• 通过模拟全网络利用率（100%）进行假设分析，同时保留日志中记录的实际计算和通信时间。
• 通过模拟压缩比从 2× 到 100× 的情况，评估梯度压缩在不同网络速度（10 Gbps 和 100 Gbps）下的影响。
• 利用逐层时间日志建模计算与通信的重叠，从而准确模拟扩展行为。
• 将网络级优化与应用级技术（如梯度压缩）进行对比，强调其透明性与精度保持能力。

实验结果

研究问题

• RQ1 网络带宽是否是分布式训练的主要瓶颈，还是网络传输效率低下才是主要原因？
• RQ2 在现代高带宽集群中，低网络利用率在多大程度上限制了可扩展性？
• RQ3 在 10 Gbps 与 100 Gbps 网络上，为实现近乎线性扩展，所需的梯度压缩比是多少？
• RQ4 全网络利用率对分布式训练的扩展因子和收敛时间有何影响？
• RQ5 网络级优化是否比应用级优化（如梯度压缩）更有效且更安全？

主要发现

• 分布式训练期间的网络利用率较低——在 100 Gbps 链路上仅使用约 32 Gbps，尽管可用带宽很高。
• 在全网络利用率下，分布式训练的扩展因子超过 99%，表明实现了近乎线性可扩展性。
• 在 100 Gbps 网络上，无需梯度压缩即可实现近乎线性扩展，因为网络本身已能支持全利用率。
• 在 10 Gbps 网络上，2× 至 5× 的压缩比已足够实现近乎线性扩展，但仅因网络是瓶颈。
• 在高速网络中，应用级梯度压缩带来的收益微乎其微，且可能损害模型精度，而网络级优化则透明且能保持模型质量。
• 本研究确认，真正瓶颈并非网络带宽，而是网络传输效率低下，而非 CPU 或 GPU 计算能力。