[论文解读] Modeling and Evaluation of Synchronous Stochastic Gradient Descent in Distributed Deep Learning on Multiple GPUs.

Shaohuai Shi, Qiang Wang+2 more|arXiv (Cornell University)|May 10, 2018

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文提出一种通用的有向无环图（DAG）模型，用于分析在多个GPU上进行分布式深度学习时同步随机梯度下降（S-SGD）的性能。通过在Caffe-MPI、CNTK、MXNet和TensorFlow四个框架上，基于PCIe、NVLink、10GbE和InfiniBand的实证评估，识别出通信瓶颈，并公开提供可用于仿真研究的实验追踪数据。

ABSTRACT

With huge amounts of training data, deep learning has made great breakthroughs in many artificial intelligence (AI) applications. However, such large-scale data sets present computational challenges, requiring training to be distributed on a cluster equipped with accelerators like GPUs. With the fast increase of GPU computing power, the data communications among GPUs have become a potential bottleneck on the overall training performance. In this paper, we first propose a general directed acyclic graph (DAG) model to describe the distributed synchronous stochastic gradient descent (S-SGD) algorithm, which has been widely used in distributed deep learning frameworks. To understand the practical impact of data communications on training performance, we conduct extensive empirical studies on four state-of-the-art distributed deep learning frameworks (i.e., Caffe-MPI, CNTK, MXNet and TensorFlow) over multi-GPU and multi-node environments with different data communication techniques, including PCIe, NVLink, 10GbE, and InfiniBand. Through both analytical and experimental studies, we identify the potential bottlenecks and overheads that could be further optimized. At last, we make the data set of our experimental traces publicly available, which could be used to support simulation-based studies.

研究动机与目标

• 使用通用的有向无环图（DAG）抽象方法，对分布式S-SGD训练中的行为进行建模。
• 识别并分析在不同数据通信技术下，多GPU和多节点环境中的通信瓶颈。
• 评估各种通信技术（PCIe、NVLink、10GbE和InfiniBand）对主流深度学习框架的性能影响。
• 提供公开可用的实验追踪数据集，以支持未来基于仿真的分布式深度学习研究。

提出的方法

• 开发一种通用的有向无环图（DAG）模型，用于表示分布式S-SGD训练中的计算与通信流程。
• 在四个深度学习框架（Caffe-MPI、CNTK、MXNet和TensorFlow）上开展广泛的实证研究。
• 使用多种通信骨干网络（PCIe、NVLink、10GbE和InfiniBand）评估训练性能。
• 结合分析与实验分析，识别与数据通信相关的性能瓶颈。
• 收集并发布来自多GPU和多节点环境的详细实验追踪数据，以支持可复现性和仿真应用。
• 利用DAG模型系统地映射并分析S-SGD中计算与通信阶段的交互行为。

实验结果

研究问题

• RQ1 在多GPU环境下，不同互连技术（PCIe、NVLink、10GbE、InfiniBand）下的S-SGD通信开销如何变化？
• RQ2 在跨多个GPU和节点扩展时，分布式S-SGD训练中的关键性能瓶颈是什么？
• RQ3 不同深度学习框架（Caffe-MPI、CNTK、MXNet、TensorFlow）在通信与计算权衡方面表现出何种差异？
• RQ4 所提出的DAG模型在多大程度上能准确表示并预测分布式训练中S-SGD的行为？
• RQ5 从实证追踪数据中可获得哪些见解，以指导未来通信高效深度学习框架的优化？

主要发现

• 在分布式S-SGD训练中，GPU之间的数据通信成为主要瓶颈，尤其在模型和数据规模增大时更为显著。
• 与PCIe相比，NVLink显著降低了通信延迟，从而提升了训练吞吐量。
• 在多节点环境中，InfiniBand由于更低的延迟和更高的带宽，性能优于10GbE。
• 通信后端的选择对整体训练性能有显著影响，且在规模扩大时性能差距进一步增大。
• 所提出的DAG模型有效捕捉了S-SGD中通信与计算的交互模式，支持系统化的瓶颈分析。
• 公开发布的实验追踪数据为验证和校准分布式深度学习研究中的仿真工具提供了宝贵资源。