[论文解读] MCUNet: Tiny Deep Learning on IoT Devices

Ji Lin, Wei-Ming Chen+4 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Neural Network Applications参考文献 51被引用 255

一句话总结

MCUNet 共同设计一个小型神经网络（TinyNAS）和一个内存高效推理引擎（TinyEngine），以在现成的微控制器上实现 ImageNet 规模的深度学习，在严格的内存预算内达到 70.7% 的 top-1 并具备快速唤醒词性能。

ABSTRACT

Machine learning on tiny IoT devices based on microcontroller units (MCU) is appealing but challenging: the memory of microcontrollers is 2-3 orders of magnitude smaller even than mobile phones. We propose MCUNet, a framework that jointly designs the efficient neural architecture (TinyNAS) and the lightweight inference engine (TinyEngine), enabling ImageNet-scale inference on microcontrollers. TinyNAS adopts a two-stage neural architecture search approach that first optimizes the search space to fit the resource constraints, then specializes the network architecture in the optimized search space. TinyNAS can automatically handle diverse constraints (i.e.device, latency, energy, memory) under low search costs.TinyNAS is co-designed with TinyEngine, a memory-efficient inference library to expand the search space and fit a larger model. TinyEngine adapts the memory scheduling according to the overall network topology rather than layer-wise optimization, reducing the memory usage by 4.8x, and accelerating the inference by 1.7-3.3x compared to TF-Lite Micro and CMSIS-NN. MCUNet is the first to achieves >70% ImageNet top1 accuracy on an off-the-shelf commercial microcontroller, using 3.5x less SRAM and 5.7x less Flash compared to quantized MobileNetV2 and ResNet-18. On visual&audio wake words tasks, MCUNet achieves state-of-the-art accuracy and runs 2.4-3.4x faster than MobileNetV2 and ProxylessNAS-based solutions with 3.7-4.1x smaller peak SRAM. Our study suggests that the era of always-on tiny machine learning on IoT devices has arrived. Code and models can be found here: https://tinyml.mit.edu.

研究动机与目标

• 在极其受限的 SRAM/Flash 条件下，激励并实现微控制器上的 ImageNet 规模深度学习。
• 开发一个系统-算法协同设计框架，结合神经架构搜索和推理调度，最小化峰值内存并最大化准确性。
• 自动化搜索空间优化以适配多样的微型硬件约束。
• 提供一个内存高效的推理库，扩展小型设备可行模型空间。

提出的方法

• TinyNAS 进行两阶段 NAS：通过分析在 108 种搜索空间配置下的满足网络的 FLOPs 分布来进行自动化的搜索空间优化，然后在所选空间内进行权重共享和进化搜索的一次性 NAS。
• TinyEngine 通过代码生成来消除运行时开销、实现模型自适应内存调度、内核专门化，以及就地深度卷积以降低峰值内存并提升吞吐量。
• 该框架将 TinyNAS 与 TinyEngine 共同设计，以在 MCU 内存预算下扩展可行模型容量。
• 使用 int8 量化部署模型，同时探究 4-bit 量化以在内存限制下适配更大模型。
• 在 ImageNet、Visual Wake Words、Speech Commands 上对多种 MCU（例如 STM32F746、F412、H743）进行评估。

实验结果

研究问题

• RQ1 系统级的神经架构与推理运行时的协同设计是否可以在内存受限的 MCU 上实现 ImageNet 规模模型？
• RQ2 通过将架构搜索与内存感知推理引擎进行协同设计，可以节省多少内存和延迟？
• RQ3 在紧凑的 SRAM/Flash 预算下，搜索空间优化和内存调度对最终准确率有何影响？
• RQ4 int8（及更低比特）量化是否足以在 MCU 绑定模型上实现有竞争力的准确率？
• RQ5 与现有 TinyML 基线相比，MCUNet 在唤醒词和目标检测任务上的表现如何？

主要发现

• MCUNet 在现成的微控制器上实现了破纪录的 ImageNet top-1 精度 70.7%。
• TinyEngine 相较于 TF-Lite Micro 和 CMSIS-NN 将峰值内存降低了 3.4×，推理速度提升了 1.7–3.3×。
• 在 TinyEngine 与 TinyNAS 的加持下，MobileNetV2 与 ProxylessNAS 基线在严格内存条件下的 top-1 精度提升至 61.8%，而仅使用库时为 47.4–56.4%。
• 在唤醒词数据集（VWW 和 Speech Commands）上，使用 TinyEngine 与 TinyNAS 的系统在唤醒词任务上比基线快 2.4–3.4×，峰值 SRAM 降低 3.7–4.1×。
• 在 Pascal VOC 的 512kB SRAM 内的目标检测显示 MCUNet 的 mAP 为 51.4%，而在内存约束下 MobileNetV2+CMSIS-NN 为 31.6%。
• 与 8-bit 相当的 ResNet-18/MobileNetV2 等效模型相比，MCUNet 在内存（SRAM）约降低 3.5×、Flash 约降低 5.7× 的同时实现了更高的 ImageNet 精度。