[论文解读] An Empirical Study towards Characterizing Deep Learning Development and Deployment across Different Frameworks and Platforms

Qianyu Guo, Sen Chen+7 more|arXiv (Cornell University)|Sep 15, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用 12

一句话总结

本实证研究调查了深度学习框架和平台在不同环境下的模型开发与部署影响。通过在相同配置下评估准确率、鲁棒性和性能，作者揭示了在不同框架和平台之间迁移或量化模型时，预测准确率和可靠性存在显著差异，暴露出影响实际部署的关键软件错误和兼容性问题。

ABSTRACT

Deep Learning (DL) has recently achieved tremendous success. A variety of DL frameworks and platforms play a key role to catalyze such progress. However, the differences in architecture designs and implementations of existing frameworks and platforms bring new challenges for DL software development and deployment. Till now, there is no study on how various mainstream frameworks and platforms influence both DL software development and deployment in practice. To fill this gap, we take the first step towards understanding how the most widely-used DL frameworks and platforms support the DL software development and deployment. We conduct a systematic study on these frameworks and platforms by using two types of DNN architectures and three popular datasets. (1) For development process, we investigate the prediction accuracy under the same runtime training configuration or same model weights/biases. We also study the adversarial robustness of trained models by leveraging the existing adversarial attack techniques. The experimental results show that the computing differences across frameworks could result in an obvious prediction accuracy decline, which should draw the attention of DL developers. (2) For deployment process, we investigate the prediction accuracy and performance (refers to time cost and memory consumption) when the trained models are migrated/quantized from PC to real mobile devices and web browsers. The DL platform study unveils that the migration and quantization still suffer from compatibility and reliability issues. Meanwhile, we find several DL software bugs by using the results as a benchmark. We further validate the results through bug confirmation from stakeholders and industrial positive feedback to highlight the implications of our study. Through our study, we summarize practical guidelines, identify challenges and pinpoint new research directions.

研究动机与目标

• 理解不同深度学习框架和平台对模型开发与部署质量的影响。
• 识别在相同配置下跨框架训练或推理模型时出现的准确率差异。
• 评估从PC到移动设备和Web平台进行模型迁移和量化时的可靠性与性能。
• 检测并验证由框架和平台差异引发的深度学习软件错误。
• 为改善跨平台深度学习部署提供实用指南，并识别新的研究方向。

提出的方法

• 在多个框架（如TensorFlow、PyTorch）中，使用两种DNN架构和三个标准数据集进行系统性实验。
• 在相同运行时配置和共享模型权重/偏置下评估预测准确率，以隔离框架特有的差异。
• 使用既定的攻击技术评估对抗鲁棒性，以测试不同框架间模型的一致性。
• 将PC上训练的模型迁移并量化至真实移动设备和Web浏览器（通过TensorFlow Lite、Core ML、TensorFlow.js）。
• 在跨平台部署过程中，以推理时间、内存消耗和准确率下降为指标，测量性能影响。
• 通过工业界反馈和利益相关方确认，验证研究发现，以确认真实世界的软件错误。

实验结果

研究问题

• RQ1 RQ1：当使用相同的运行时配置或相同的模型权重/偏置时，不同深度学习框架之间的预测准确率如何变化？
• RQ2 RQ2：当使用相同配置和权重训练时，不同框架之间的对抗鲁棒性有何差异？
• RQ3 RQ3：通过迁移和量化将模型从PC部署到移动和Web平台时，准确率和性能有何影响？
• RQ4 RQ4：在不同平台之间进行模型迁移和量化时，会浮现哪些兼容性和可靠性问题？
• RQ5 RQ5：在部署过程中，框架和平台差异会引入哪些深度学习软件错误？

主要发现

• 即使权重和超参数完全相同，当同一模型在不同框架之间部署时，预测准确率会出现显著下降。
• 尽管训练配置完全相同，不同框架之间的对抗鲁棒性仍存在明显差异，表明模型行为具有框架依赖性。
• 从PC向移动设备和Web平台进行模型迁移和量化时，会导致可测量的准确率损失，主要源于平台特定的实现差异。
• 推理时间与内存消耗等性能指标在不同平台间存在显著差异，部分平台引入了意外的开销。
• 识别并经利益相关方确认了多个真实的深度学习软件错误，尤其集中在量化和张量计算模块。
• 本研究揭示了实现跨平台一致性及标准化模型转换流程的迫切需求，以确保可靠的部署。