[论文解读] MG-WFBP: Efficient Data Communication for Distributed Synchronous SGD Algorithms

Shaohuai Shi, Xiaowen Chu+1 more|arXiv (Cornell University)|Nov 27, 2018

Stochastic Gradient Optimization Techniques参考文献 25被引用 4

一句话总结

该论文提出 MG-WFBP，一种针对分布式同步 SGD 的优化通信调度算法，通过将跨层的小型梯度消息合并以减少网络启动开销。通过将问题建模为最小化训练迭代时间的优化问题，MG-WFBP 在 64 个节点的 GPU 集群上相较于 WFBP 最快提升 1.75 倍，相较于 SyncEASGD 提升 1.45 倍，显著提升了高通信-计算比场景下的扩展效率。

ABSTRACT

Distributed synchronous stochastic gradient descent has been widely used to train deep neural networks on computer clusters. With the increase of computational power, network communications have become one limiting factor on system scalability. In this paper, we observe that many deep neural networks have a large number of layers with only a small amount of data to be communicated. Based on the fact that merging some short communication tasks into a single one may reduce the overall communication time, we formulate an optimization problem to minimize the training iteration time. We develop an optimal solution named merged-gradient WFBP (MG-WFBP) and implement it in our open-source deep learning platform B-Caffe. Our experimental results on an 8-node GPU cluster with 10GbE interconnect and trace-based simulation results on a 64-node cluster both show that the MG-WFBP algorithm can achieve much better scaling efficiency than existing methods WFBP and SyncEASGD.

研究动机与目标

• 解决由于高通信-计算比导致的分布式深度学习性能瓶颈，特别是在具有快速 GPU 的高带宽集群中。
• 指出现有方法如 WFBP 和 SyncEASGD 效率低下，原因在于对频繁且小规模的梯度传输处理不当，且启动开销高。
• 将通信调度问题建模为优化问题，以最小化总训练迭代时间，同时考虑计算-计算重叠与通信效率。
• 设计一种全局最优、高效的通信策略，通过智能消息合并，在重叠通信与计算之间实现平衡，并最小化总通信时间。
• 在真实与模拟的大规模 GPU 集群中，展示 MG-WFBP 相较于最先进通信方法的可扩展性与性能提升。

提出的方法

• 将通信调度问题建模为优化问题，以最小化训练迭代时间，考虑各层的计算与通信成本。
• 提出 MG-WFBP（合并梯度无等待反向传播），一种将跨层的小型梯度通信合并为更大、更高效消息的算法，以减少网络启动开销。
• 设计基于动态规划的解决方案，时间复杂度为 O(L²)，用于在训练前一次性计算最优消息合并调度方案，适用于 L 个层。
• 将 MG-WFBP 集成至开源 B-Caffe 深度学习平台，实现端到端的分布式训练并优化通信。
• 利用无等待反向传播原理，使通信在梯度生成后立即开始，同时确保合并消息不会延迟计算。
• 基于 64 个节点的集群进行基于 trace 的仿真，评估超出物理硬件限制的可扩展性，验证在高节点数条件下的性能表现。

实验结果

研究问题

• RQ1 在分布式同步 SGD 中，通过跨层合并频繁的小型梯度通信，能否减少整体训练迭代时间？
• RQ2 当网络启动开销占主导地位时（由于高通信-计算比），无等待反向传播（WFBP）策略是否表现次优？
• RQ3 在具有高启动开销的大规模集群中，单层通信方法（如 SyncEASGD）是否能优于 WFBP？
• RQ4 在通过消息合并最小化总通信时间的同时，如何实现通信与计算重叠的最优权衡？
• RQ5 是否存在一种全局最优的通信调度策略，其在扩展效率方面优于分层通信与单层通信方法？

主要发现

• 在 8 个节点、10GbE 互连的 GPU 集群上，MG-WFBP 相较于 WFBP 最快提升 1.36 倍，相较于 SyncEASGD 提升 1.2 倍。
• 在 64 个节点集群的基于 trace 的仿真中，MG-WFBP 相较于 WFBP 最快提升 1.7 倍，相较于 SyncEASGD 提升 1.3 倍。
• 在 ResNet-50 训练中，MG-WFBP 在 64 个节点的模拟环境中相较 WFBP 和 SyncEASGD 分别实现约 1.75 倍和 1.45 倍的加速。
• MG-WFBP 保持了优越的扩展效率——在 64 个节点集群上超过 70%，而 WFBP 和 SyncEASGD 因未隐藏的启动开销导致效率下降至约 55%。
• 仿真中观察到的 WFBP 与 SyncEASGD 性能交叉现象证实：在小规模集群中，WFBP 受益于计算-通信重叠；但在大规模环境中，由于启动开销降低，SyncEASGD 和 MG-WFBP 表现更优。
• MG-WFBP 的最优消息合并策略提升了网络带宽利用率并减少了空闲时间，使其在高通信-计算比场景下成为最具可扩展性的解决方案。