[论文解读] BlueFog: Make Decentralized Algorithms Practical for Optimization and Deep Learning

Bicheng Ying, Kun Yuan+3 more|arXiv (Cornell University)|Nov 8, 2021

IoT and Edge/Fog Computing参考文献 81被引用 12

一句话总结

BlueFog 是一个开源的 Python 库，可实现高性能、易于使用的深度学习去中心化优化算法。通过抽象通信操作并支持动态、异步和有向网络拓扑，BlueFog 在 ResNet-50 和 BERT-large 训练任务中相比 Horovod 实现了 1.2× 到 1.8× 的加速，展示了在真实分布式训练环境中实用性和高效性。

ABSTRACT

Decentralized algorithm is a form of computation that achieves a global goal through local dynamics that relies on low-cost communication between directly-connected agents. On large-scale optimization tasks involving distributed datasets, decentralized algorithms have shown strong, sometimes superior, performance over distributed algorithms with a central node. Recently, developing decentralized algorithms for deep learning has attracted great attention. They are considered as low-communication-overhead alternatives to those using a parameter server or the Ring-Allreduce protocol. However, the lack of an easy-to-use and efficient software package has kept most decentralized algorithms merely on paper. To fill the gap, we introduce BlueFog, a python library for straightforward, high-performance implementations of diverse decentralized algorithms. Based on a unified abstraction of various communication operations, BlueFog offers intuitive interfaces to implement a spectrum of decentralized algorithms, from those using a static, undirected graph for synchronous operations to those using dynamic and directed graphs for asynchronous operations. BlueFog also adopts several system-level acceleration techniques to further optimize the performance on the deep learning tasks. On mainstream DNN training tasks, BlueFog reaches a much higher throughput and achieves an overall $1.2 imes \sim 1.8 imes$ speedup over Horovod, a state-of-the-art distributed deep learning package based on Ring-Allreduce. BlueFog is open source at https://github.com/Bluefog-Lib/bluefog.

研究动机与目标

• 弥合理论去中心化算法与分布式深度学习中实际部署之间的差距。
• 为实现多种去中心化算法提供统一、易于使用的软件接口，避免底层通信复杂性。
• 支持高级功能，如异步更新、时变拓扑和单向通信，以提升真实环境下的鲁棒性。
• 在大规模 DNN 训练中实现与或超越当前最先进框架（如 Horovod）的高性能。
• 使研究人员和实践者能够快速在 PyTorch 中原型设计和部署去中心化优化算法。

提出的方法

• BlueFog 引入了统一的去中心化通信操作抽象层，将算法逻辑与底层通信细节解耦。
• 它支持使用静态或动态、无向或有向图进行部分平均的同步和异步通信。
• 该库提供了直观的 Python API，用于实现 DmSGD、QG-DmSGD 和普通 DmSGD 等算法，且可配置平均系数。
• 系统级优化包括高效的内存管理和针对深度学习工作负载定制的低延迟通信原语。
• BlueFog 集成 PyTorch，支持在多个节点上以最小代码改动实现 SPMD（单个程序，多数据）执行。
• 它支持动态拓扑选择，每个节点在每次迭代中选择新的邻居，从而在不牺牲收敛性的情况下降低通信开销。

实验结果

研究问题

• RQ1 一个高层级、易于使用的库能否使去中心化深度学习算法在实际部署中变得实用？
• RQ2 在大规模 DNN 上，去中心化通信与 Ring-Allreduce 在训练吞吐量和收敛性方面相比如何？
• RQ3 在保持模型准确率的前提下，动态和非对称网络拓扑能在多大程度上减少通信开销？
• RQ4 异步和单向通信原语能否在高性能深度学习框架中高效支持？
• RQ5 通过优化去中心化训练中的系统级通信模式，能够实现多大的性能提升？

主要发现

• 在 ResNet-50 和 BERT-large 训练任务中，BlueFog 相比 Horovod 实现了 1.2× 到 1.8× 的加速，90 个周期的训练时间从 Horovod 的 14,648 秒减少到 BlueFog 的 10,229 秒。
• 在 ImageNet-1k 上使用 ResNet-50 时，BlueFog 的 AWC 变体在 10,228.92 秒内达到 74.5% 的 top-1 准确率，速度优于 Horovod，同时保持了具有竞争力的准确率。
• 动态指数拓扑在不显著影响性能的情况下降低了通信成本，所有模型和算法的 top-1 准确率与静态拓扑相差不超过 0.5%。
• 系统在 8×8 GPU 配置下表现出一致的可扩展性效率，从一个到两个 AWS p3.16xlarge 实例扩展时性能下降极小。
• BlueFog 实现的去中心化算法与全局平均基线表现出相似的收敛行为，证实了其正确性和稳定性。
• 该库使用户仅用几行简洁的 Python 代码即可实现复杂的去中心化算法，显著降低了分布式学习研究的入门门槛。