[论文解读] A detailed comparative study of open source deep learning frameworks

Ghadeer Al-Bdour, Raffi Al-Qurran+2 more|arXiv (Cornell University)|Feb 25, 2019

Anomaly Detection Techniques and Applications参考文献 41被引用 11

一句话总结

本文对三种主流开源深度学习框架——TensorFlow、Theano 和 CNTK——进行了全面的定量与定性比较，评估了其在多种基准数据集上使用 CNN 和 RNN 架构的性能表现。研究发现，CNTK 在训练速度和资源效率方面始终优于其他框架，尤其在 GPU 和多 GPU 配置下，适用于图像处理、自然语言处理和计算机视觉等多样化任务。

ABSTRACT

Deep Learning (DL) is one of the hottest trends in machine learning as DL approaches produced results superior to the state-of-the-art in problematic areas such as image processing and natural language processing (NLP). To foster the growth of DL, several open source frameworks appeared providing implementations of the most common DL algorithms. These frameworks vary in the algorithms they support and in the quality of their implementations. The purpose of this work is to provide a qualitative and quantitative comparison among three of the most popular and most comprehensive DL frameworks (namely Google's TensorFlow, University of Montreal's Theano and Microsoft's CNTK). The ultimate goal of this work is to help end users make an informed decision about the best DL framework that suits their needs and resources. To ensure that our study is as comprehensive as possible, we conduct several experiments using multiple benchmark datasets from different fields (image processing, NLP, etc.) and measure the performance of the frameworks' implementations of different DL algorithms. For most of our experiments, we find out that CNTK's implementations are superior to the other ones under consideration.

研究动机与目标

• 提供对最流行的开源深度学习框架——TensorFlow、Theano 和 CNTK——的全面实证比较。
• 识别各框架在训练速度、资源利用率和可扩展性方面的优缺点，涵盖不同硬件配置下的表现。
• 为研究人员和实践者在特定计算资源和应用需求下选择最合适的框架提供建议。
• 通过标准基准数据集，评估框架在多样化深度学习任务（包括图像分类、自然语言处理和视频分析）中的性能表现。
• 分析在多种神经网络架构和硬件平台上的 CPU 和 GPU 利用率、内存消耗以及收敛速度。

提出的方法

• 本研究在搭载 Windows 10 操作系统的笔记本电脑上，使用多核 CPU（Intel i7-3820 和 Xeon E5-2630）及多块 NVIDIA GPU（GTX980、GTX1080、Tesla K80）对三种框架——TensorFlow、Theano 和 CNTK——进行评估。
• 实验在五个基准数据集上进行：MNIST、CIFAR-10、IMDB、Self-Driving Car 和 Penn TreeBank，分别代表图像处理、自然语言处理和视频分析任务。
• 训练了多种神经网络架构：全连接网络、CNN（如用于 MNIST 和 CIFAR-10 的模型）以及 RNN（如用于 IMDB 和 Penn TreeBank 的 LSTM 模型）。
• 性能指标包括训练时间、准确率/困惑度、CPU 和 GPU 利用率百分比、内存使用量以及收敛所需的训练轮次数。
• 框架在 CPU 和 GPU 配置下均进行了评估，包括使用两块 Tesla K80 显卡的多 GPU 配置。
• 结果以详细表格（表 5–9）形式收集并报告，涵盖所有配置下的准确率、资源利用率、内存使用量和收敛速度。

实验结果

研究问题

• RQ1 在不同深度学习架构和数据集下，TensorFlow、Theano 和 CNTK 的训练速度如何比较？
• RQ2 哪个框架在保持高效资源利用的前提下实现了最高准确率或最低困惑度？
• RQ3 在不同硬件配置下（包括单 GPU 和多 GPU 配置，以及不同类型的 CPU），各框架的表现如何？
• RQ4 各框架的内存和 CPU/GPU 利用率模式是怎样的，它们如何影响训练效率？
• RQ5 在多 GPU 环境中，哪个框架展现出最高效的收敛速度和可扩展性？

主要发现

• CNTK 在大多数实验中实现了最快的训练性能，尤其在 RNN 训练（LSTM）方面表现尤为突出，其速度比其他框架快 5–10 倍。
• 在 IMDB 数据集上，CNTK 在 GPU 上仅用 2 个训练轮次即达到 88.93% 的准确率，而 TensorFlow 和 Theano 均需 3 个轮次；且 Theano 的 CPU 利用率（14.6%）显著低于 CNTK（94.8%）。
• 在 Self-Driving Car 数据集上，CNTK 在 GPU 上实现 99.97% 的准确率，GPU 利用率为 32.4%；而 Theano 的 GPU 利用率仅为 31%，表明尽管准确率高，但存在资源利用不足的问题。
• 在 Penn TreeBank 数据集上，CNTK 实现了最低的困惑度（CPU 上为 113.7），且内存使用量更低（CPU 占 1.3%，GPU 占 2.2%），而 Theano 的内存使用量分别为 4.1%（CPU）和 5.4%（GPU）。
• TensorFlow 在所有数据集上均表现出最高的内存使用量，MNIST 上 GPU 内存使用率达 5.2%，IMDB 上达 9.1%；而 CNTK 始终保持最低的内存占用。
• 尽管在大多数情况下 CPU 利用率较高，Theano 在多数场景下 CPU 利用率极低（MNIST 上为 14.7%，CIFAR-10 上为 15.3%），表明其在 CPU 密集型训练场景中效率低下。