[论文解读] Intelligence Beyond the Edge: Inference on Intermittent Embedded Systems

Graham Gobieski, Nathan Beckmann+1 more|arXiv (Cornell University)|Sep 28, 2018

Parallel Computing and Optimization Techniques参考文献 67被引用 20

一句话总结

本文提出Sonic，一种软件系统，通过引入循环继续技术，实现了在能量采集、间歇性嵌入式系统上的高效深度神经网络（DNN）推理。该技术通过结构化、幂等的循环处理，显著降低了间歇执行的开销。通过与Tails和Genesis在软硬件协同设计方面的优化，Sonic在模型压缩方面实现了相较于最先进方法高达12.2倍的能效降低。

ABSTRACT

Energy-harvesting technology provides a promising platform for future IoT applications. However, since communication is very expensive in these devices, applications will require inference "beyond the edge" to avoid wasting precious energy on pointless communication. We show that application performance is highly sensitive to inference accuracy. Unfortunately, accurate inference requires large amounts of computation and memory, and energy-harvesting systems are severely resource-constrained. Moreover, energy-harvesting systems operate intermittently, suffering frequent power failures that corrupt results and impede forward progress. This paper overcomes these challenges to present the first full-scale demonstration of DNN inference on an energy-harvesting system. We design and implement SONIC, an intermittence-aware software system with specialized support for DNN inference. SONIC introduces loop continuation, a new technique that dramatically reduces the cost of guaranteeing correct intermittent execution for loop-heavy code like DNN inference. To build a complete system, we further present GENESIS, a tool that automatically compresses networks to optimally balance inference accuracy and energy, and TAILS, which exploits SIMD hardware available in some microcontrollers to improve energy efficiency. Both SONIC & TAILS guarantee correct intermittent execution without any hand-tuning or performance loss across different power systems. Across three neural networks on a commercially available microcontroller, SONIC & TAILS reduce inference energy by 6.9x and 12.2x, respectively, over the state-of-the-art.

研究动机与目标

• 在通信成本高昂的能量采集、间歇性嵌入式系统中，实现高精度、低能耗的DNN推理。
• 解决在内存和处理能力受限的资源受限微控制器中，间歇性执行带来的挑战。
• 降低确保间歇性系统正确性所带来的性能与能耗开销，特别是针对DNN推理等计算密集型循环工作负载。
• 通过自动化的神经网络压缩，优化推理精度与能耗之间的权衡。
• 设计一个完整的全栈解决方案，结合软件（Sonic）、硬件利用（Tails）和模型压缩（Genesis），实现端到端的高效性。

提出的方法

• 提出循环继续——一种新颖技术，通过循环有序缓冲和稀疏撤销日志，确保循环处理的幂等性，从而实现安全、低开销的DNN推理循环执行。
• 设计Sonic，一种软件系统，通过选择性修改非易失性内存并避免使用完整的任务抽象，确保间歇性执行的正确性。
• 开发Tails，一个利用微控制器上SIMD硬件以提升DNN推理期间能效的系统。
• 创建Genesis，一个自动压缩DNN的工具，以在物联网应用中实现推理精度与能耗之间的最优平衡。
• 对卷积层使用循环有序缓冲，对全连接层使用稀疏撤销日志，以确保在断电情况下的正确性。
• 采用全栈方法，结合软件、硬件感知编译和模型压缩，最小化能耗开销，同时保持精度。

实验结果

研究问题

• RQ1 如何在资源严重受限的能量采集、间歇性嵌入式系统上高效执行DNN推理？
• RQ2 哪些技术可以降低确保间歇性系统正确执行的开销，特别是针对DNN推理等计算密集型循环代码？
• RQ3 如何在资源受限的物联网设备中，自动优化推理精度与能耗之间的权衡？
• RQ4 像SIMD这样的硬件特性能否被有效利用，以提升间歇性DNN推理的能效？
• RQ5 哪些架构与软件协同设计原则能够实现在间歇性供电的通用微控制器上高效且正确的执行？

主要发现

• 与最先进的间歇性执行系统相比，Sonic将推理能耗降低了高达6.9倍。
• Tails通过利用微控制器上的SIMD硬件进行高效计算，实现了12.2倍的推理能耗降低。
• Sonic与Tails的结合首次在商用微控制器上实现了间歇性供电下的完整DNN推理，展示了首个此类端到端系统。
• Genesis能够自动压缩神经网络，通过平衡精度与能耗，最大化应用级性能。
• 循环继续通过利用DNN推理的规则结构，避免了通用间歇性执行机制的高昂开销。
• 该系统在多种供电系统上均能实现正确执行，无需手动调优或性能损失，展现出强大的鲁棒性与可移植性。