[论文解读] Divide-and-Shuffle Synchronization for Distributed Machine Learning.

Weiyan Wang, Cengguang Zhang+4 more|arXiv (Cornell University)|Jul 7, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用 4

一句话总结

本文提出了一种名为分治-洗牌同步（Divide-and-Shuffle Synchronization, DS-Sync）的新通信优化方法，用于分布式机器学习，通过将工作者分组并动态调整组内成员关系，以最小化需同步的参数数量，从而降低同步开销。该方法在保持收敛速度的同时，显著提升了BERT、WideResNet和DeepFM等模型在具有挑战性的数据集上的训练效率。

ABSTRACT

Distributed Machine Learning suffers from the bottleneck of synchronization to all-reduce workers' updates. Previous works mainly consider better network topology, gradient compression, or stale updates to speed up communication and relieve the bottleneck. However, all these works ignore the importance of reducing the scale of synchronized elements and inevitable serial executed operators. To address the problem, our work proposes the Divide-and-Shuffle Synchronization(DS-Sync), which divides workers into several parallel groups and shuffles group members. DS-Sync only synchronizes the workers in the same group so that the scale of a group is much smaller. The shuffle of workers maintains the algorithm's convergence speed, which is interpreted in theory. Comprehensive experiments also show the significant improvements in the latest and popular models like Bert, WideResnet, and DeepFM on challenging datasets.

研究动机与目标

• 为解决分布式机器学习中因所有工作者全量参数同步而导致的通信瓶颈问题。
• 减少需同步元素的规模，并消除同步协议中的串行执行开销。
• 通过动态工作者分组，在最小化通信成本的同时保持算法的收敛速度。
• 设计一种与现代深度学习模型兼容的实用且高效的同步机制。

提出的方法

• 将工作者划分为多个并行组，以减少每组需同步的参数数量。
• 在训练迭代过程中动态调整组内成员关系，以维持多样性并防止参数滞后。
• 仅在组内进行同步，大幅缩小all-reduce操作的规模。
• 理论分析表明，通过保持梯度方差特性，洗牌机制可维持收敛速度。
• 该方法与现有深度学习框架兼容，且仅需极少的代码修改。

实验结果

研究问题

• RQ1 通过工作者分组减少需同步参数数量，能否提升分布式训练中的通信效率？
• RQ2 动态调整工作者分组是否能维持分布式优化算法的收敛速度？
• RQ3 DS-Sync在不同深度学习模型和数据集上的表现如何？
• RQ4 DS-Sync能否优于现有的通信优化技术，如梯度压缩或滞后更新处理？

主要发现

• DS-Sync通过将all-reduce操作限制在更小、动态变化的组内，显著降低了同步开销。
• 理论分析验证了该方法在保持与全量同步相当的收敛速度方面具有有效性。
• 实验结果表明，DS-Sync在BERT、WideResNet和DeepFM等模型上，于具有挑战性的数据集上均实现了稳定的训练加速。
• 该方法在无需修改模型架构或超参数的前提下，实现了可测量的性能提升。