[论文解读] A Machine Learning-oriented Survey on Tiny Machine Learning

Luigi Capogrosso, Federico Cunico+3 more|arXiv (Cornell University)|Sep 21, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本综述从2018年至2023年对微型机器学习（TinyML）进行了全面的、以机器学习（ML）为重点的分析，系统性地回顾了三种实现工作流——以ML为导向、以硬件（HW）为导向和协同设计——同时提出了模型优化技术与学习算法的分类体系。研究指出，协同设计是未来最具前景的发展路径，强调了基准测试、内存限制、数据质量，以及缺乏标准化模型和公开数据集等关键未解挑战。

ABSTRACT

The emergence of Tiny Machine Learning (TinyML) has positively revolutionized the field of Artificial Intelligence by promoting the joint design of resource-constrained IoT hardware devices and their learning-based software architectures. TinyML carries an essential role within the fourth and fifth industrial revolutions in helping societies, economies, and individuals employ effective AI-infused computing technologies (e.g., smart cities, automotive, and medical robotics). Given its multidisciplinary nature, the field of TinyML has been approached from many different angles: this comprehensive survey wishes to provide an up-to-date overview focused on all the learning algorithms within TinyML-based solutions. The survey is based on the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) methodological flow, allowing for a systematic and complete literature survey. In particular, firstly we will examine the three different workflows for implementing a TinyML-based system, i.e., ML-oriented, HW-oriented, and co-design. Secondly, we propose a taxonomy that covers the learning panorama under the TinyML lens, examining in detail the different families of model optimization and design, as well as the state-of-the-art learning techniques. Thirdly, this survey will present the distinct features of hardware devices and software tools that represent the current state-of-the-art for TinyML intelligent edge applications. Finally, we discuss the challenges and future directions.

研究动机与目标

• 为2018年至2023年间的TinyML研究提供系统性、以机器学习（ML）为重点的全面概述，以应对该领域的多学科复杂性。
• 形式化并比较三种主要实现工作流：以ML为导向、以HW为导向和协同设计。
• 提出一个全面的、针对TinyML的模型优化与学习技术分类体系。
• 评估当前用于TinyML部署的硬件平台与软件工具。
• 识别尚未解决的挑战，如基准测试、内存限制、数据质量，以及缺乏标准模型和公开数据集。

提出的方法

• 本综述采用PRISMA方法论进行系统性文献综述，确保全面性与可复现性。
• 基于三种不同的设计工作流对TinyML系统进行分类：以ML为重点、以硬件为重点和协同设计，特别强调协同设计。
• 提出详细分类体系，按优化族（如量化、知识蒸馏、神经架构搜索）和模型设计对学习技术进行分类。
• 评估最先进的TinyML框架与工具，包括其在嵌入式MCU和低功耗约束下的兼容性。
• 基于性能、内存和能效对硬件平台进行分析，并在表IV中进行对比分析。
• 通过当前文献的批判性综合识别未解决的问题，重点关注基准测试、内存、数据质量与模型标准化。

Figure 1: A glance at the latest hardware developed for TinyML reveals a notable trend: recent advances are focused on the goal of minimizing power consumption. This means that the main focus right now is making sure that ML can run on devices with limited resources.

实验结果

研究问题

• RQ1 实现TinyML系统的三种主要设计工作流是什么？它们在实际应用和性能表现上如何不同？
• RQ2 在资源受限的边缘设备上，哪些模型优化与学习技术对TinyML最为有效？
• RQ3 当前硬件平台（MCUs、FPGAs、TPUs）在能效、内存使用和推理速度方面如何比较，适用于TinyML应用？
• RQ4 哪些主要未解挑战阻碍了TinyML系统在真实场景中的推进与部署？
• RQ5 为何TinyML生态系统中缺乏标准化基准、公开数据集和广泛接受的模型？

主要发现

• 从一开始就让机器学习与硬件工程师协同设计的协同工作流，是未来TinyML发展的最有前景路径。
• 尽管关注度持续上升，但在微控制器单元（MCUs）上仍无广泛接受的基线模型，与移动边缘AI中的MobileNet形成对比。
• 缺乏用于训练、推理和系统级性能的标准化基准，仍是公平比较与技术进步的主要障碍。
• 内存限制——尤其是SRAM和闪存容量有限——仍是关键挑战，尤其对深度学习模型而言。
• 数据质量是关键但常被忽视的因素；真实世界中数据稀缺与质量低下可能误导模型评估与部署。
• 尽管深度学习主导了TinyML应用，但非深度学习方法（如TEDA）仅零星使用，表明其在特定领域外的采用仍有限。

Figure 2: The number of papers on TinyML published so far, and the surveys on the topic. As evident, there is an exponential growth in the number of research papers, and it’s worth noting that our survey not only stands as the most recent but also uniquely concentrates on the ML perspective, disting