[论文解读] Distributed SLIDE: Enabling Training Large Neural Networks on Low Bandwidth and Simple CPU-Clusters via Model Parallelism and Sparsity

Minghao Yan, Nicholas Meisburger+2 more|arXiv (Cornell University)|Jan 29, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出 D-SLIDE，一种分布式模型并行训练框架，通过利用 SLIDE 算法的自适应稀疏性，使在低带宽、低资源的 CPU 集群上训练接近十亿参数的神经网络成为可能。通过在节点间分发稀疏权重更新和哈希表，D-SLIDE 相较于密集方法将通信量减少了 99%，训练速度最高达到 Horovod 的 80 倍，并在 4–16 核 CPU 上实现与 GPU 相当或更优的性能，通信带宽为 1 Gbps。

ABSTRACT

More than 70% of cloud computing is paid for but sits idle. A large fraction of these idle compute are cheap CPUs with few cores that are not utilized during the less busy hours. This paper aims to enable those CPU cycles to train heavyweight AI models. Our goal is against mainstream frameworks, which focus on leveraging expensive specialized ultra-high bandwidth interconnect to address the communication bottleneck in distributed neural network training. This paper presents a distributed model-parallel training framework that enables training large neural networks on small CPU clusters with low Internet bandwidth. We build upon the adaptive sparse training framework introduced by the SLIDE algorithm. By carefully deploying sparsity over distributed nodes, we demonstrate several orders of magnitude faster model parallel training than Horovod, the main engine behind most commercial software. We show that with reduced communication, due to sparsity, we can train close to a billion parameter model on simple 4-16 core CPU nodes connected by basic low bandwidth interconnect. Moreover, the training time is at par with some of the best hardware accelerators.

研究动机与目标

• 在云环境中通常处于空闲状态的、资源有限的低带宽 CPU 集群上实现大规模神经网络的训练。
• 通过自适应稀疏性减少数据移动，克服分布式模型并行训练中的通信瓶颈。
• 设计一种可扩展、高效的框架，适用于内存有限、节点间带宽低的少量核心 CPU。
• 在低资源、低带宽环境下超越当前最先进的分布式训练框架（如 Horovod）。
• 证明基于 CPU 的训练可以达到或超过高端 GPU 加速器在每轮训练速度上的表现。

提出的方法

• D-SLIDE 使用模型并行性将神经网络层拆分到多个 CPU 节点上，同时在节点间分发模型权重和用于自适应稀疏性的哈希表。
• 它利用 SLIDE 算法在每轮训练中实现超过 95% 的稀疏性，极大减少了节点间传输的梯度和参数量。
• 通过基于 MPI 的消息传递优化通信，仅在节点间传输稀疏更新（压缩率达 99%），显著降低带宽使用。
• 通过在节点间分发哈希表和模型参数，确保负载均衡，提升计算效率并减少竞争。
• 通过可学习的哈希函数动态确定每输入的稀疏性，即使在并行性有限的 CPU 上也能保持高训练效率。
• 实现基于 MPI，支持与 PyTorch 和 TensorFlow 等主流深度学习框架的集成。

实验结果

研究问题

• RQ1 能否在云环境中通常未被充分利用的低带宽、低资源 CPU 集群上高效训练大规模神经网络？
• RQ2 自适应稀疏性在不损失模型准确率的前提下，能在多大程度上减少分布式模型并行训练中的通信开销？
• RQ3 在低带宽（≤1 Gbps）和低核心数（4–16）条件下，D-SLIDE 与 Horovod 在训练速度和可扩展性方面有何差异？
• RQ4 基于 CPU 的训练能否实现与高端 GPU 加速器（如 A100 和 V100）相当或更优的每轮训练时间？
• RQ5 仅使用模型并行性和稀疏性，是否可在每节点内存为 8–16 GB 的硬件上训练接近十亿参数的模型？

主要发现

• 在 2 个节点、共 16 核、带宽 1 Gbps 的集群上，D-SLIDE 训练大型模型的速度比 Horovod 快 80 倍，而 Horovod 因通信瓶颈无法扩展至单节点以上。
• 在 8 个节点、每节点 4 核的配置下，D-SLIDE 的每轮训练时间为 5,417 秒，而 Horovod 在相同环境下超过 280,000 秒。
• 在 Text8 数据集上，D-SLIDE 在 2 个节点上的每轮训练速度比单个 V100 GPU 快 6.7 倍，比单个 A100 GPU 快 2.5 倍，且准确率相当。
• 在 Amazon670K 数据集上，D-SLIDE 在 2 个节点上的每轮训练速度比 2 个 V100 GPU 快 3.0 倍，比单个 A100 GPU 快 2.1 倍，测试准确率接近 TensorFlow 基线。
• 在 99% 通信压缩率下，D-SLIDE 在 8 个节点上仍保持强可扩展性，证明其在低带宽环境下的鲁棒性。
• 该框架成功在每节点仅 8–16 GB 内存的 4–16 核 CPU 上训练了 8 亿参数模型，证明了在极简硬件上的可行性。