[论文解读] An Orchestrated Empirical Study on Deep Learning Frameworks and Platforms

Qianyu Guo, Xiaofei Xie+7 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Neural Network Applications参考文献 37被引用 5

一句话总结

本文通过在服务器、网页和移动平台使用MNIST和CIFAR-10数据集，对TensorFlow、Theano和Torch进行了全面的实证研究比较。研究揭示了不同框架和平台在性能、准确率和鲁棒性方面存在显著差异，突显了关键的兼容性问题，并提出了一套公开可用的工具链，以支持未来跨框架和跨平台深度学习系统开发。

ABSTRACT

Deep learning (DL) has recently achieved tremendous success in a variety of cutting-edge applications, e.g., image recognition, speech and natural language processing, and autonomous driving. Besides the available big data and hardware evolution, DL frameworks and platforms play a key role to catalyze the research, development, and deployment of DL intelligent solutions. However, the difference in computation paradigm, architecture design and implementation of existing DL frameworks and platforms brings challenges for DL software development, deployment, maintenance, and migration. Up to the present, it still lacks a comprehensive study on how current diverse DL frameworks and platforms influence the DL software development process. In this paper, we initiate the first step towards the investigation on how existing state-of-the-art DL frameworks (i.e., TensorFlow, Theano, and Torch) and platforms (i.e., server/desktop, web, and mobile) support the DL software development activities. We perform an in-depth and comparative evaluation on metrics such as learning accuracy, DL model size, robustness, and performance, on state-of-the-art DL frameworks across platforms using two popular datasets MNIST and CIFAR-10. Our study reveals that existing DL frameworks still suffer from compatibility issues, which becomes even more severe when it comes to different platforms. We pinpoint the current challenges and opportunities towards developing high quality and compatible DL systems. To ignite further investigation along this direction to address urgent industrial demands of intelligent solutions, we make all of our assembled feasible toolchain and dataset publicly available.

研究动机与目标

• 研究不同深度学习框架如何影响深度学习软件系统的开发、部署和迁移。
• 解决现有系统性比较研究的不足，即框架和平台对模型准确率、性能和鲁棒性的影响。
• 识别在真实部署场景中，不同框架和平台之间存在的兼容性问题和实现不一致性。
• 提供一个经过验证、可复用的工具链和数据集，以支持大规模、可重现的深度学习框架与平台实证研究。
• 支持在异构环境中开发可移植、高质量且互操作的深度学习系统。

提出的方法

• 在三个平台（服务器/桌面端、网页端（通过TensorFlow.js）、移动端（通过TensorFlow Lite））上，对三种最先进的深度学习框架——TensorFlow、Theano和Torch——进行了对比评估。
• 在所有框架-平台组合中，使用相同的超参数在MNIST和CIFAR-10数据集上训练了相同的DNN架构。
• 测量并比较了关键指标：训练准确率、推理性能、模型大小、对对抗性样本的鲁棒性以及能效。
• 采用标准化的基准测试流程，以确保跨框架比较的可重现性和公平性。
• 收集并验证了所有配置下训练模型和执行日志的综合数据集。
• 发布了完整组装、人工验证的工具链，以支持未来对深度学习框架和平台互操作性的实证研究。

实验结果

研究问题

• RQ1 RQ1：在相同的DNN设计和运行时训练配置下，不同深度学习框架实现的模型是否表现出不同的运行时行为和训练性能？
• RQ2 RQ2：当使用不同深度学习框架训练具有相同设计和运行时配置的深度学习模型时，其在不同平台上的预测性能差异如何？
• RQ3 RQ3：框架和平台的差异如何影响模型的鲁棒性，特别是在对抗性攻击下？
• RQ4 RQ4：在不同框架和平台之间，模型大小、推理速度和能耗之间的性能与效率权衡是什么？

主要发现

• 相同的DNN架构和训练配置在不同框架中产生了不同的准确率和性能，表明即使设计相同，其行为仍依赖于实现。
• 在将模型部署到移动端和网页端时，推理速度和模型大小存在显著差异。
• 不同框架之间的对抗性样本鲁棒性差异显著，部分模型在特定框架下表现出更高的脆弱性。
• 框架之间的模型转换引入了可测量的准确率损失和兼容性问题，尤其是在从桌面端迁移到移动端或网页端时更为明显。
• 不同框架和平台之间的能效和计算效率存在显著差异，移动端优化的框架（如TensorFlow Lite）在移动设备上表现出更好的性能。
• 本研究发现，当前框架在跨平台间的行为缺乏一致性，导致在不重新训练或微调的情况下，跨平台部署和复用变得极具挑战。