[论文解读] Intermittent Inference with Nonuniformly Compressed Multi-Exit Neural Network for Energy Harvesting Powered Devices

Yawen Wu, Zhepeng Wang+3 more|arXiv (Cornell University)|Apr 23, 2020

Energy Harvesting in Wireless Networks参考文献 25被引用 7

一句话总结

本文提出了一种面向能量采集微控制器（MCUs）的、基于功耗轨迹感知与出口引导的压缩与运行时自适应框架，用于部署多出口神经网络。通过联合优化所有出口的剪枝与量化，并采用轻量级Q-learning实现动态出口选择，该方法在准确率上比最先进基线提升10.2%，延迟降低23.2倍。

ABSTRACT

This work aims to enable persistent, event-driven sensing and decision capabilities for energy-harvesting (EH)-powered devices by deploying lightweight DNNs onto EH-powered devices. However, harvested energy is usually weak and unpredictable and even lightweight DNNs take multiple power cycles to finish one inference. To eliminate the indefinite long wait to accumulate energy for one inference and to optimize the accuracy, we developed a power trace-aware and exit-guided network compression algorithm to compress and deploy multi-exit neural networks to EH-powered microcontrollers (MCUs) and select exits during execution according to available energy. The experimental results show superior accuracy and latency compared with state-of-the-art techniques.

研究动机与目标

• 在存储空间有限且供电间歇的能源采集微控制器（MCUs）上实现持久的、事件驱动的推理。
• 解决传统压缩方法仅优化最终层性能而造成早期出口准确率低下的问题。
• 通过综合考虑能量可用性与各出口的准确率/成本，最大化在不可预测、动态能量采集条件下的长期平均推理准确率。
• 开发一种运行时自适应机制，基于实时能量状态与输入难度，学习最优出口选择策略。

提出的方法

• 设计一种功耗轨迹感知、出口引导的网络压缩算法，联合优化所有出口的剪枝与量化，以在每一层保持高准确率。
• 以FLOPs和模型大小为约束，确保压缩后的多出口网络适配MCU内存（如64KB Flash）。
• 提出一种基于轻量级Q-learning的运行时出口选择策略，平衡即时准确率与未来能量可用性。
• 通过各出口处的置信度熵估计输入难度，以决定是否继续进入更深的出口以获取更高准确率。
• 使用查找表（LUT）实现静态出口选择作为基线，并与学习得到的Q-table策略进行对比。
• 在真实世界太阳能功耗轨迹和事件分布下评估系统，以模拟真实的能量采集条件。

实验结果

研究问题

• RQ1 如何对多出口神经网络进行压缩，以在有限内存的能源采集MCUs上保持所有出口的高准确率？
• RQ2 何种压缩策略能在动态且不可预测的能量可用性条件下，最大化长期平均推理准确率？
• RQ3 基于能量可用性与输入难度的动态运行时出口选择，相比静态选择，如何提升平均准确率？
• RQ4 轻量级强化学习（Q-learning）在多变的能量轨迹与事件分布下，能在多大程度上自适应地优化出口决策？

主要发现

• 所提出的压缩方法在真实太阳能功耗轨迹下，相比静态查找表（LUT）基线，将平均推理准确率提升了10.2%。
• 运行时Q-learning自适应机制使事件处理数量相比静态LUT提升了11.2%，归因于更优的能量节约与出口选择。
• 该系统将平均每次推理延迟降低4.1倍至23.2倍，具体取决于配置，相比最先进基线。
• 轻量级Q-learning策略在计算开销可忽略的前提下实现了显著的准确率提升，能够在运行时高效更新Q-table。
• 功耗轨迹感知的压缩机制确保了选择概率较高的出口（基于能量可用性）在优化过程中被优先考虑。
• 该方法使仅配备64KB Flash的MCU能够实现持久的、事件驱动的推理，为无电池、能量采集设备上部署DNN提供了可行性。