[论文解读] Challenges and Obstacles Towards Deploying Deep Learning Models on Mobile Devices

Hamid Tabani, Ajay Balasubramaniam+2 more|arXiv (Cornell University)|May 6, 2021

Advanced Neural Network Applications参考文献 4被引用 8

一句话总结

本文识别了在移动设备和边缘设备上部署深度学习模型时面临的关键挑战，主要源于框架与硬件之间的不兼容性，特别是对不支持层的问题。本文提出了四种实用解决方案——层替换、模型微调、后处理适配和自定义层实现，并通过实证验证表明转换后模型精度损失极小，从而实现了跨异构平台的更广泛应用。

ABSTRACT

From computer vision and speech recognition to forecasting trajectories in autonomous vehicles, deep learning approaches are at the forefront of so many domains. Deep learning models are developed using plethora of high-level, generic frameworks and libraries. Running those models on the mobile devices require hardware-aware optimizations and in most cases converting the models to other formats or using a third-party framework. In reality, most of the developed models need to undergo a process of conversion, adaptation, and, in some cases, full retraining to match the requirements and features of the framework that is deploying the model on the target platform. Variety of hardware platforms with heterogeneous computing elements, from wearable devices to high-performance GPU clusters are used to run deep learning models. In this paper, we present the existing challenges, obstacles, and practical solutions towards deploying deep learning models on mobile devices.

研究动机与目标

• 识别并分析在移动设备和边缘设备上部署深度学习模型的主要技术障碍。
• 研究预训练模型、深度学习框架与目标硬件平台之间的不兼容性问题。
• 提出并评估适用于异构计算环境的、经过工业实践验证的模型转换与适配方案。
• 为在框架和硬件支持有限的移动平台上部署模型提供可操作的指导建议。

提出的方法

• 基于层不兼容性及所需适配步骤，将模型部署挑战划分为四种不同场景。
• 通过等效操作（例如，使用负常数将 Subtract 替换为 Add）实现层替换，无需微调。
• 在架构修改后（如将 ConvTranspose 替换为 Conv、Reshape 和 Transpose 层的组合）进行模型微调。
• 通过后处理技术将不支持的尾部层（如 Softmax）从模型图中卸载至外部计算。
• 当标准替换不可行时，在源框架和目标框架中实现自定义层，确保跨框架兼容性。
• 通过真实模型转换验证解决方案，测量在多种硬件平台上的精度保持率与性能表现。

实验结果

研究问题

• RQ1 在移动设备和边缘设备上部署预训练深度学习模型时，不兼容性的主要成因是什么？
• RQ2 如何在不显著损失模型精度的前提下，有效替换或适配深度学习模型中的不支持层？
• RQ3 在哪些场景下需要进行模型微调，而在哪些场景下仅通过后处理或层替换即可满足需求？
• RQ4 在部署过程中，实现自定义层与修改模型架构之间的权衡是什么？
• RQ5 实用的转换策略在保持异构移动硬件平台上模型性能方面的有效性如何？

主要发现

• 通过使用等效操作（如用带负权重的 Add 替代 Subtract）进行层替换的模型转换，可在无需微调的情况下保持模型精度。
• 通过 Conv、Reshape 和 Transpose 层的组合重建不支持的层（如 ConvTranspose），并在微调后实现成功部署，精度接近基线模型。
• 当存在多个输出时，对不兼容的尾部层（如 Softmax）进行后处理是可行的，可减少对模型结构的修改需求。
• 当其他方法不可行或效率低下时，在源框架和目标框架中实现自定义层是一种可行但成本较高的替代方案。
• 所提出的解决方案能有效弥合研究模型与移动及边缘设备生产部署之间的差距，且性能下降极小。