[论文解读] Benchmarking State-of-the-Art Deep Learning Software Tools

Shaohuai Shi, Qiang Wang+2 more|arXiv (Cornell University)|Aug 25, 2016

Advanced Neural Network Applications参考文献 22被引用 70

一句话总结

本文对五种先进的深度学习框架——Caffe、CNTK、MXNet、TensorFlow 和 Torch——在多种神经网络类型（全连接网络 FCNs、卷积神经网络 CNNs、循环神经网络 RNNs）和硬件平台（CPU 和 GPU）上的表现进行了基准测试。结果表明，性能因工具、网络类型和硬件而异，其中 CNTK 在 RNN 上表现优异，MXNet 在大型 CNN 上表现最佳，GPU 加速相比 CPU 显著提升了速度，而多 GPU 扩展性则高度依赖于梯度聚合策略。

ABSTRACT

Deep learning has been shown as a successful machine learning method for a variety of tasks, and its popularity results in numerous open-source deep learning software tools. Training a deep network is usually a very time-consuming process. To address the computational challenge in deep learning, many tools exploit hardware features such as multi-core CPUs and many-core GPUs to shorten the training time. However, different tools exhibit different features and running performance when training different types of deep networks on different hardware platforms, which makes it difficult for end users to select an appropriate pair of software and hardware. In this paper, we aim to make a comparative study of the state-of-the-art GPU-accelerated deep learning software tools, including Caffe, CNTK, MXNet, TensorFlow, and Torch. We first benchmark the running performance of these tools with three popular types of neural networks on two CPU platforms and three GPU platforms. We then benchmark some distributed versions on multiple GPUs. Our contribution is two-fold. First, for end users of deep learning tools, our benchmarking results can serve as a guide to selecting appropriate hardware platforms and software tools. Second, for software developers of deep learning tools, our in-depth analysis points out possible future directions to further optimize the running performance.

研究动机与目标

• 评估并比较主流 GPU 加速深度学习框架在不同神经网络架构上的性能。
• 识别不同深度学习工作负载下最优的软硬件组合。
• 分析系统设计选择（尤其是梯度聚合策略）对多 GPU 可扩展性的影响。
• 为终端用户提供高效工具和硬件选择的指导，并为开发者提供性能优化的启示。

提出的方法

• 本研究在两种 CPU 平台（Intel i7-3820 和 Xeon E5-2630）和三种 GPU 平台（GTX 980、GTX 1080、Tesla K80）上，对五种深度学习框架——Caffe、CNTK、MXNet、TensorFlow 和 Torch——进行了基准测试。
• 实验包括训练三种网络类型的中小型和大型版本：全连接网络（FCNs）、卷积神经网络（CNNs）以及使用 LSTM 的循环神经网络（RNNs）。
• 性能通过合成数据和真实世界数据进行测量，重点关注训练时间和吞吐量。
• 通过使用两块 Tesla K80 显卡（共四块 GPU）进行数据并行，评估多 GPU 性能，分析梯度聚合开销和通信模式。
• 研究分析了内核启动模式以及系统级优化，如 cuDNN 使用、自动调优和内存权衡。
• 通过详细分析内核操作、内存传输和通信拓扑（特别是 PCIe 带宽限制）验证了研究发现。

实验结果

研究问题

• RQ1 在 CPU 和 GPU 上，五种深度学习框架在不同神经网络架构上的训练速度如何比较？
• RQ2 硬件平台（CPU 与 GPU）以及 GPU 型号（GTX 980、1080、K80）对训练性能有何影响？
• RQ3 多 GPU 数据并行如何影响可扩展性？梯度聚合策略在性能中扮演什么角色？
• RQ4 为何 CNTK 在 RNN 训练中（尤其是 LSTM 网络）优于其他工具？
• RQ5 配置设置和系统级优化（如自动调优、内存权衡）在多大程度上影响框架性能？

主要发现

• 在单块 GPU 上，CNTK 在基于 LSTM 的 RNN 训练中效率比其他工具高出 5–10 倍，归因于优化的内核设计和高效的梯度处理。
• MXNet 在大型 CNN 上表现最佳，尤其在 GTX 1080 上，凭借高效的内核融合和 cuDNN 集成，显著优于其他框架。
• CNTK 和 MXNet 在 CNN 和 FCN 上展现出优越的多 GPU 扩展性，而 TensorFlow 和 Torch 受限于 CPU 主导的梯度聚合，可扩展性较差。
• GTX 1080 在大多数基准测试中表现最高性能，归因于其更高的计算吞吐量和内存带宽。
• 在 CPU 上进行梯度聚合（如 TensorFlow 和 Torch 所采用的方式）成为主要瓶颈，PCIe 传输时间（每小批量最高达 0.0256 秒）显著影响性能。
• 系统级设计选择——如 CNTK 的 1-bit 随机梯度下降和 MXNet 的基于 GPU 的聚合——相比以 CPU 为中心的方法，显著提升了多 GPU 的可扩展性。