[论文解读] Heterogeneity-Aware Asynchronous Decentralized Training

Qinyi Luo, Jiaao He+2 more|arXiv (Cornell University)|Sep 17, 2019

Stochastic Gradient Optimization Techniques参考文献 50被引用 8

一句话总结

Ripples 是一种异构感知的异步去中心化训练框架，结合了部分 All-Reduce 以降低同步开销，并采用分组调度技术（分组缓冲、分组划分、静态/智能调度）以减少冲突。在同构环境中，其性能比最先进的 All-Reduce 提升 1.1 倍；在异构环境中，比 All-Reduce 提升 2 倍，且在异构性容忍方面比 AD-PSGD 快 3 倍。

ABSTRACT

Distributed deep learning training usually adopts All-Reduce as the synchronization mechanism for data parallel algorithms due to its high performance in homogeneous environment. However, its performance is bounded by the slowest worker among all workers, and is significantly slower in heterogeneous situations. AD-PSGD, a newly proposed synchronization method which provides numerically fast convergence and heterogeneity tolerance, suffers from deadlock issues and high synchronization overhead. Is it possible to get the best of both worlds - designing a distributed training method that has both high performance as All-Reduce in homogeneous environment and good heterogeneity tolerance as AD-PSGD? In this paper, we propose Ripples, a high-performance heterogeneity-aware asynchronous decentralized training approach. We achieve the above goal with intensive synchronization optimization, emphasizing the interplay between algorithm and system implementation. To reduce synchronization cost, we propose a novel communication primitive Partial All-Reduce that allows a large group of workers to synchronize quickly. To reduce synchronization conflict, we propose static group scheduling in homogeneous environment and simple techniques (Group Buffer and Group Division) to avoid conflicts with slightly reduced randomness. Our experiments show that in homogeneous environment, Ripples is 1.1 times faster than the state-of-the-art implementation of All-Reduce, 5.1 times faster than Parameter Server and 4.3 times faster than AD-PSGD. In a heterogeneous setting, Ripples shows 2 times speedup over All-Reduce, and still obtains 3 times speedup over the Parameter Server baseline.

研究动机与目标

• 解决由于最慢工作者限制导致 All-Reduce 在异构分布式训练环境中性能受限的问题。
• 在保持 AD-PSGD 异构性容忍能力的同时，克服其死锁和高同步开销的问题。
• 设计一种去中心化训练系统，在同构环境中实现 All-Reduce 级别的性能，在异构环境中实现 AD-PSGD 级别的鲁棒性。
• 优化算法设计与系统级通信原语之间的相互作用，以最小化同步开销和冲突。

提出的方法

• 提出部分 All-Reduce，一种新型通信原语，通过减少通信量实现在大规模工作者组之间的快速同步。
• 在同构环境中实现静态分组调度，以减少随机性并降低同步冲突。
• 提出分组缓冲和分组划分技术，在异步去中心化训练中最小化随机性损失的同时降低冲突概率。
• 采用随机分组选择（随机 GG）和智能分组调度（智能 GG），在异构环境中平衡统计效率与执行速度。
• 将原子更新协议与冲突避免机制结合，在提升吞吐量的同时保持数值稳定性。
• 设计一种具有灵活通信图、谱间隙和双重随机平均性质的去中心化训练系统，以支持鲁棒且可扩展的训练。

实验结果

研究问题

• RQ1 去中心化训练系统是否能在同构环境中实现 All-Reduce 级别的性能，同时保持 AD-PSGD 级别的异构性容忍能力？
• RQ2 在大规模去中心化训练中，如何在不牺牲收敛稳定性的情况下最小化同步开销？
• RQ3 分组选择中的随机性与同步冲突之间存在何种权衡？如何实现优化？
• RQ4 在异构工作者环境中，冲突避免技术能在多大程度上提升性能？

主要发现

• 在同构环境中，Ripples 比最先进的 All-Reduce 实现快 1.1 倍，比参数服务器快 5.1 倍，比 AD-PSGD 快 4.3 倍。
• 在存在一个工作者延迟 2 倍的异构设置下，Ripples 比 All-Reduce 快 2 倍，比参数服务器快 3 倍。
• 在延迟 5 倍的情况下，Ripples 仍比 All-Reduce 快 5.01 倍，比 AD-PSGD 快 4.23 倍，展现出强大的异构性容忍能力。
• Ripples 中的智能分组调度相比 AD-PSGD 整体执行时间快 5.26 倍，归因于更低的同步开销和更优的冲突管理。
• 在 ImageNet 上使用 ResNet-50 训练，Ripples 搭配智能分组调度在 10 小时后达到 64.21% 的 top-1 准确率，优于 AD-PSGD（58.28%），且收敛速度接近 All-Reduce（66.83%），尽管迭代次数更多。
• Ripples 的性能提升源于将每次迭代的同步开销降低 5.10 倍（相比 AD-PSGD），代价是迭代次数略多（0.96× vs. 0.78×），证明了效率与统计收敛性之间有效的权衡。