[论文解读] Moshpit SGD: Communication-Efficient Decentralized Training on Heterogeneous Unreliable Devices

Max Ryabinin, Eduard Gorbunov+2 more|arXiv (Cornell University)|Mar 4, 2021

Brain Tumor Detection and Classification被引用 8

一句话总结

本文提出了 Moshpit SGD，一种针对异构且不可靠设备的通信高效去中心化训练框架。它引入了 Moshpit All-Reduce，一种动态的去中心化分组协议，可实现全局平均梯度的指数级收敛，相较于基于 gossip 的方法，在 ResNet-50/ImageNet 上实现了 1.3 倍的加速，在 ALBERT-large 上实现了 1.5 倍的加速，且使用的是可抢占的云虚拟机。

ABSTRACT

Training deep neural networks on large datasets can often be accelerated by using multiple compute nodes. This approach, known as distributed training, can utilize hundreds of computers via specialized message-passing protocols such as Ring All-Reduce. However, running these protocols at scale requires reliable high-speed networking that is only available in dedicated clusters. In contrast, many real-world applications, such as federated learning and cloud-based distributed training, operate on unreliable devices with unstable network bandwidth. As a result, these applications are restricted to using parameter servers or gossip-based averaging protocols. In this work, we lift that restriction by proposing Moshpit All-Reduce - an iterative averaging protocol that exponentially converges to the global average. We demonstrate the efficiency of our protocol for distributed optimization with strong theoretical guarantees. The experiments show 1.3x speedup for ResNet-50 training on ImageNet compared to competitive gossip-based strategies and 1.5x speedup when training ALBERT-large from scratch using preemptible compute nodes.

研究动机与目标

• 解决集中式 all-reduce 协议在联邦学习和基于云的分布式训练等不可靠、异构且通信受限环境中所面临的局限性。
• 通过实现无需依赖固定通信图的去中心化、动态梯度平均，克服传统 all-reduce 在可扩展性和容错性方面的限制。
• 设计一种协议，在网络延迟、带宽波动以及节点故障等变化条件下，仍能保持通信效率和指数级收敛速率。
• 证明基于 Moshpit All-Reduce 的去中心化训练在真实、不可靠的硬件环境中，性能可与集中式和基于 gossip 的方法相媲美或超越。

提出的方法

• Moshpit All-Reduce 使用去中心化的匹配算法动态形成对等组，实现无需中心协调器的高效 all-reduce 式平均。
• 协议通过在动态形成的组内进行迭代平均，确保无论网络拓扑或规模如何，都能实现对全局平均的指数级收敛。
• 它采用随机分组策略，根据节点可用性和网络状况自适应调整，最大限度降低通信开销，同时保持收敛保证。
• 该方法通过 Moshpit SGD 集成到完整的训练流水线中，在合理假设下，其迭代复杂度与集中式 SGD 保持等价。
• 协议设计具备对节点故障和可变网络延迟的鲁棒性，适用于可抢占的云实例和联邦学习场景。
• 理论分析建立了与网络结构无关的指数级收敛速率，并对收敛至全局最优解提供了形式化保证。

实验结果

研究问题

• RQ1 一种去中心化的平均协议是否能够在不依赖固定通信图或集中协调的情况下，实现对全局平均梯度的指数级收敛？
• RQ2 在可变网络延迟和节点故障条件下，Moshpit All-Reduce 与基于 gossip 和集中式 all-reduce 协议的性能相比如何？
• RQ3 Moshpit SGD 在异构且不可靠的硬件（如可抢占的云虚拟机或联邦设备）上，能够将训练速度提升多少？
• RQ4 在实际的非理想训练环境中，Moshpit SGD 是否能保持与集中式 SGD 相当的收敛保证？

主要发现

• Moshpit All-Reduce 实现了对全局平均梯度的指数级收敛，收敛速率与网络拓扑和规模无关。
• 在 ImageNet 上训练 ResNet-50 时，Moshpit SGD 相较于性能优异的基于 gossip 的去中心化训练策略，实现了 1.3 倍的加速。
• 在可抢占的云虚拟机上训练 ALBERT-large 时，Moshpit SGD 相较于基线的基于 gossip 的方法，实现了 1.5 倍的加速。
• 在平均精度实验中，Moshpit All-Reduce 仅需 2.0 次迭代即可在 1024 个工作者且无故障的情况下达到 1e-9 的误差，优于所有其他方法。
• 即使在高达 1% 的故障率下，该协议仍保持稳健性能，收敛时间仅比基于 gossip 和 all-reduce 的基线适度增加。
• 在单台 8-GPU 服务器上，由于基于 TCP 的通信，Moshpit SGD 比 AR-SGD 慢 25%，但考虑到其在鲁棒性和去中心化方面的优势，这一性能差距是可以接受的。