[论文解读] Enabling Embedded Inference Engine with ARM Compute Library: A Case Study

Dawei Sun, Shaoshan Liu+1 more|arXiv (Cornell University)|Apr 12, 2017

Parallel Computing and Optimization Techniques参考文献 3被引用 7

一句话总结

本文通过一个案例研究，展示了如何使用ARM Compute Library（ACL）从零开始构建一个嵌入式深度学习推理引擎，表明对于低成本SoC上的简单模型，该方法可减少开发时间并提升性能——在相同硬件上相比TensorFlow实现25%的提速，挑战了‘移植现有框架更高效’的假设。

ABSTRACT

When you need to enable deep learning on low-cost embedded SoCs, is it better to port an existing deep learning framework or should you build one from scratch? In this paper, we share our practical experiences of building an embedded inference engine using ARM Compute Library (ACL). The results show that, contradictory to conventional wisdoms, for simple models, it takes much less development time to build an inference engine from scratch compared to porting existing frameworks. In addition, by utilizing ACL, we managed to build an inference engine that outperforms TensorFlow by 25%. Our conclusion is that, on embedded devices, we most likely will use very simple deep learning models for inference, and with well-developed building blocks such as ACL, it may be better in both performance and development time to build the engine from scratch.

研究动机与目标

• 评估使用ARM Compute Library（ACL）从零构建自定义嵌入式推理引擎，而非移植现有深度学习框架的可行性和效率。
• 比较在低成本嵌入式SoC上，从零构建与移植成熟框架（如TensorFlow）在开发时间和推理性能方面的差异。
• 评估经过高度优化的底层构建块（如ACL）是否能在资源受限环境中，为简单深度学习模型提供更快、更高效的推理能力。
• 挑战传统观念，即移植现有框架是嵌入式推理部署的首选路径。

提出的方法

• 作者使用ARM Compute Library（ACL）从零开始实现了一个自定义推理引擎，利用其针对常见深度学习操作（如卷积和激活函数）的优化内核。
• 该引擎专为低功耗ARM架构嵌入式系统设计，重点在于极小的内存占用和高计算效率。
• 实现中重用了ACL提供的高度优化、手工调优的神经网络层内核，避免了完整框架集成的开销。
• 性能通过与同一硬件上运行的TensorFlow Lite进行基准测试对比，使用的是复杂度极低的标准卷积模型。
• 开发过程强调模块化设计，并直接集成ACL的API，以最大化性能并最小化代码膨胀。
• 推理引擎在真实嵌入式硬件上进行了评估，测量了在相同模型和硬件条件下推理延迟与吞吐量。

实验结果

研究问题

• RQ1 对于嵌入式系统上的简单模型，使用ARM Compute Library从零构建自定义推理引擎是否比移植现有深度学习框架更节省开发时间？
• RQ2 使用ARM Compute Library构建的自定义引擎是否能在低成本SoC上实现比TensorFlow等成熟框架更快的推理速度？
• RQ3 像ACL这样的高度优化底层库，在多大程度上能降低在嵌入式设备上部署深度学习模型的复杂性和开销？
• RQ4 与使用完整框架相比，由极简、手工优化的引擎带来的性能提升，是否足以抵消其在维护性和可移植性方面的权衡？

主要发现

• 对于简单深度学习模型，使用ARM Compute Library从零构建推理引擎的开发时间显著少于移植现有框架。
• 该自定义推理引擎在相同低成本嵌入式SoC上运行时，相比TensorFlow实现了25%的推理速度提升。
• 使用ACL的优化内核可在无需完整深度学习框架复杂性与资源开销的前提下，实现高性能推理。
• 研究结果挑战了当前普遍认为‘移植现有框架是嵌入式推理部署最高效路径’的假设。
• 本研究证明，对于资源受限的嵌入式系统，一个轻量级、基于ACL的推理引擎不仅运行更快，而且比基于框架的替代方案开发更迅速。