[论文解读] Deploying Deep Neural Networks in the Embedded Space

Stylianos I. Venieris, Alexandros Kouris+1 more|arXiv (Cornell University)|Jun 22, 2018

Advanced Neural Network Applications参考文献 25被引用 9

一句话总结

本文提出了一套全面的框架，用于在嵌入式和移动平台（特别是基于FPGA的加速）上优化深度神经网络（DNN）的部署。该框架引入了自动化的工具流，如fpgaConvNet（用于CNN到FPGA的映射）、低精度级联分类器、多CNN并行处理、近似LSTM以及特定领域的DNN设计，与GPU基线相比，在功耗受限条件下实现了高达6.8倍的能效比提升和6.5倍的推理速度提升。

ABSTRACT

Recently, Deep Neural Networks (DNNs) have emerged as the dominant model across various AI applications. In the era of IoT and mobile systems, the efficient deployment of DNNs on embedded platforms is vital to enable the development of intelligent applications. This paper summarises our recent work on the optimised mapping of DNNs on embedded settings. By covering such diverse topics as DNN-to-accelerator toolflows, high-throughput cascaded classifiers and domain-specific model design, the presented set of works aim to enable the deployment of sophisticated deep learning models on cutting-edge mobile and embedded systems.

研究动机与目标

• 解决在资源受限的嵌入式和移动平台上高效部署复杂DNN的挑战。
• 通过自动化生成基于FPGA的DNN加速器，弥合深度学习研究人员与硬件加速器之间的鸿沟。
• 为自动驾驶无人机和机器人等实时AI应用提供低延迟、高吞吐量且能效高的推理能力。
• 开发兼顾准确率与计算成本的特定领域DNN模型，以适配目标嵌入式硬件。
• 探索在时间受限系统中利用近似计算技术实现推理精度与计算资源之间的运行时权衡。

提出的方法

• fpgaConvNet利用同步数据流模型和数学优化，自动完成CNN到FPGA的映射，探索吞吐量与延迟之间的设计空间。
• fpgaConvNet中的延迟驱动方法支持运行时可配置、无批处理的执行方式，实现低延迟硬件生成。
• CascadeCNN通过低精度量化和级联推理，实现高吞吐量、隐私保护型DNN，且无需重新训练数据。
• f-CNN${}^\text{x}$p提出一种并行FPGA架构，可在严格端到端延迟约束下同时执行多个CNN。
• 一种近似计算框架联合优化LSTM剪枝与FPGA硬件映射，以在满足计算时间约束的同时保持精度。
• 特定领域DNN设计采用自定义的准确率-计算成本度量，联合优化模型结构与Odroid-XU4和Raspberry Pi 3等平台上的部署效率。

实验结果

研究问题

• RQ1 如何高效地将DNN推理映射到FPGA上，以满足高吞吐量或低延迟等多样化性能需求？
• RQ2 在无需重新训练数据的情况下，低精度算术在DNN中可被利用到何种程度，特别是在隐私敏感的应用中？
• RQ3 在严格端到端延迟约束下，如何高效地在FPGA上并行执行多个CNN？
• RQ4 能否利用近似计算技术在时间受限的嵌入式系统中加速LSTM推理，同时不牺牲应用级别的精度？
• RQ5 如何将DNN模型与目标嵌入式硬件协同设计，以在准确率、延迟和能效之间实现最优权衡？

主要发现

• 在相同功耗预算下，fpgaConvNet的性能最高可达优化后的嵌入式GPU实现的6.65倍。
• 延迟驱动的fpgaConvNet方法支持无批处理推理，显著降低延迟，适用于实时应用。
• CascadeCNN在无需重新训练数据的情况下，利用极低精度算术（如4位）实现高吞吐量推理，支持隐私关键型部署。
• 在多CNN场景下，f-CNN${}^\text{x}$p通过优化并行执行，实现比嵌入式GPU设计高出6.8倍的能效比。
• 近似LSTM框架在相同时间预算下，将达到目标精度的时间缩短6.5倍，同时实现25倍更高的精度。
• 针对无人机视觉检测的特定领域DNN设计在Odroid-XU4和Raspberry Pi 3上实现了准确率与推理速度的最佳平衡，计算效率优于标准模型。