[论文解读] Deep Learning on Mobile Devices - A Review

Yunbin Deng|arXiv (Cornell University)|Mar 21, 2019

Advanced Neural Network Applications参考文献 35被引用 9

一句话总结

本综述论文全面概述了深度学习在移动设备和嵌入式设备上的部署，涵盖硬件加速器、如量化和剪枝等模型优化技术，以及TensorFlow和Paddle-Mobile等主流深度学习框架。文章突出了其优势，包括降低延迟、减少带宽使用和提升隐私保护，为研究人员和从业者提供了关于系统级优化及医疗健康、机器人和自动驾驶系统等实际应用的及时参考资源。

ABSTRACT

Recent breakthroughs in deep learning and artificial intelligence technologies have enabled numerous mobile applications. While traditional computation paradigms rely on mobile sensing and cloud computing, deep learning implemented on mobile devices provides several advantages. These advantages include low communication bandwidth, small cloud computing resource cost, quick response time, and improved data privacy. Research and development of deep learning on mobile and embedded devices has recently attracted much attention. This paper provides a timely review of this fast-paced field to give the researcher, engineer, practitioner, and graduate student a quick grasp on the recent advancements of deep learning on mobile devices. In this paper, we discuss hardware architectures for mobile deep learning, including Field Programmable Gate Arrays, Application Specific Integrated Circuit, and recent mobile Graphic Processing Units. We present Size, Weight, Area and Power considerations and their relation to algorithm optimizations, such as quantization, pruning, compression, and approximations that simplify computation while retaining performance accuracy. We cover existing systems and give a state-of-the-industry review of TensorFlow, MXNet, Mobile AI Compute Engine, and Paddle-mobile deep learning platform. We discuss resources for mobile deep learning practitioners, including tools, libraries, models, and performance benchmarks. We present applications of various mobile sensing modalities to industries, ranging from robotics, healthcare and multi-media, biometrics to autonomous drive and defense. We address the key deep learning challenges to overcome, including low quality data, and small training/adaptation data sets. In addition, the review provides numerous citations and links to existing code bases implementing various technologies.

研究动机与目标

• 为研究人员、工程师和从业者提供一份及时且全面的关于移动和嵌入式设备上深度学习的综述。
• 分析包括FPGA、ASIC和移动GPU在内的硬件平台在移动推理中的应用。
• 研究算法优化技术，如量化、剪枝和模型压缩，以在保持准确率的同时减小模型大小和功耗。
• 评估TensorFlow、MXNet和Paddle-Mobile等主流深度学习框架在移动部署中的表现。
• 识别移动应用中的关键挑战，如训练数据有限和传感器输入质量低等问题。

提出的方法

• 根据尺寸、重量、面积和功耗（SWaP）约束，对移动硬件架构（包括FPGA、ASIC和移动GPU）进行调研与分类。
• 分析模型压缩技术，如权重量化、基于大小的剪枝和知识蒸馏，以减小模型大小和计算成本。
• 评估TensorFlow Lite、MXNet、Mobile AI Compute Engine和Paddle-Mobile等推理框架在移动部署中的效率。
• 审查基准测试工具和公共模型仓库，以支持可复现性和性能对比。
• 将移动传感模态（如摄像头、麦克风和LiDAR）与医疗健康、机器人、生物识别和自动驾驶等应用进行映射。
• 识别移动环境中数据稀缺和数据质量差等关键挑战，并讨论相应的缓解策略。

实验结果

研究问题

• RQ1 哪些关键硬件平台能够实现移动设备上高效深度学习推理？
• RQ2 如量化和剪枝等模型压缩技术如何影响移动部署中的准确率和效率？
• RQ3 在移动和嵌入式推理中，哪些深度学习框架最为有效，其优缺点是什么？
• RQ4 在哪些主要应用领域，本地设备上的深度学习相比云推理提供了可衡量的优势？
• RQ5 在数据采集能力有限的边缘环境中，如何有效管理小样本或低质量的训练数据？

主要发现

• 如移动GPU和ASIC等硬件加速器显著降低了移动设备上的推理延迟和功耗。
• 量化和剪枝技术可将模型大小减少高达90%，且准确率损失极小，使资源受限设备上的部署成为可能。
• TensorFlow Lite和Paddle-Mobile等框架提供了优化的推理引擎，可在极低内存和计算开销下实现本地部署。
• 本地推理提升了数据隐私保护并减少了通信带宽需求，使其在医疗健康和国防等敏感应用中尤为理想。
• 尽管已取得进展，但在处理小样本或噪声较大的训练数据集方面仍存在挑战，尤其是在数据采集能力有限的边缘环境。
• 该综述识别出一个日益丰富的开源工具、预训练模型和基准测试平台生态系统，正在加速移动AI的开发进程。