[论文解读] Machine Learning for Microcontroller-Class Hardware: A Review

Swapnil Sayan Saha, Sandeep Singh Sandha+1 more|arXiv (Cornell University)|May 29, 2022

Neural Networks and Applications被引用 10

一句话总结

本文提出了一种闭环、系统化的工作流程，用于在微控制器级物联网设备上部署机器学习，重点在于模型压缩、高效神经架构设计以及软硬件协同设计。结果表明，通过精心优化，最先进的模型可被适配为超低功耗、设备端推理的模型，实现在多种应用场景中资源消耗极低的实时、持续感知。

ABSTRACT

The advancements in machine learning opened a new opportunity to bring intelligence to the low-end Internet-of-Things nodes such as microcontrollers. Conventional machine learning deployment has high memory and compute footprint hindering their direct deployment on ultra resource-constrained microcontrollers. This paper highlights the unique requirements of enabling onboard machine learning for microcontroller class devices. Researchers use a specialized model development workflow for resource-limited applications to ensure the compute and latency budget is within the device limits while still maintaining the desired performance. We characterize a closed-loop widely applicable workflow of machine learning model development for microcontroller class devices and show that several classes of applications adopt a specific instance of it. We present both qualitative and numerical insights into different stages of model development by showcasing several use cases. Finally, we identify the open research challenges and unsolved questions demanding careful considerations moving forward.

研究动机与目标

• 解决在RAM和闪存内存极为有限的超资源受限微控制器上部署机器学习模型的挑战。
• 识别并系统化微控制器级硬件专用的闭环TinyML开发工作流程的关键阶段。
• 在真实应用场景中，对不同模型开发方法进行定量与定性比较。
• 突出TinyML领域在向后兼容性、安全性以及软硬件协同优化方面仍存在的开放性研究挑战。

提出的方法

• 提出一种结构化、闭环的TinyML模型开发工作流程，包括数据工程、特征投影、模型压缩以及轻量级架构设计。
• 采用量化、剪枝和知识蒸馏等模型压缩技术，以减小模型大小并降低计算成本。
• 引入专为微控制器约束优化的神经架构搜索（NAS）框架，重点关注准确性、延迟和内存占用。
• 评估轻量级机器学习模块（如深度可分离卷积和量化激活）在微控制器上实现高效推理的性能。
• 整合软硬件协同探索原则，倡导对模型与平台设计进行联合优化。
• 综述现有软件套件（如TensorFlow Lite for Microcontrollers）以及用于设备端自适应的在线学习框架。

实验结果

研究问题

• RQ1 如何有效压缩并优化机器学习模型，使其能够在仅配备128 kB RAM和1 MB闪存的微控制器上部署？
• RQ2 在不同TinyML工作流配置中，模型准确性、推理延迟与内存占用之间的关键权衡是什么？
• RQ3 在资源与安全约束下，设备端学习或在线微调在微控制器级系统中可实际应用到何种程度？
• RQ4 如何确保上游（云端）与下游（设备端）模型之间的向后兼容性，以防止功能退化？
• RQ5 硬件感知的神经架构搜索与对抗鲁棒性在下一代TinyML系统设计中应扮演何种角色？

主要发现

• 所提出的TinyML工作流程可实现在仅配备128 kB RAM和1 MB闪存的微控制器上部署复杂机器学习模型，在严格的功耗与内存约束下实现实时推理。
• 定量基准测试表明，量化与剪枝等模型压缩技术可将模型大小减少高达90%，同时在多个基于传感器的应用中保持超过90%的准确性。
• 专为微控制器设计的神经架构搜索（NAS）框架可识别出在准确性、延迟与内存使用之间实现平衡的高效架构，在某些情况下优于人工设计的模型。
• 云端与微控制器模型之间的向后兼容性仍是关键挑战，即使高精度模型也表现出样本级不一致性，可能导致功能故障。
• 压缩模型的对抗鲁棒性显著降低，使其更容易受到攻击，而当前的防御机制尚未集成到TinyML工作流中。
• 软硬件协同设计对未来发展至关重要，因为仅靠软件优化已不足以满足日益复杂的神经网络工作负载在超受限平台上的需求。