[论文解读] How to Manage Tiny Machine Learning at Scale: An Industrial Perspective

Haoyu Ren, Darko Anicic+1 more|arXiv (Cornell University)|Feb 18, 2022

IoT and Edge/Fog Computing被引用 5

一句话总结

本文提出了一种基于W3C Web of Things（WoT）和TinyML专用本体的语义知识图谱框架，以实现工业规模下微型机器学习模型和物联网设备的可扩展、互操作性管理。通过以统一的机器可读格式建模神经网络和设备能力，该系统能够通过SPARQL查询和低代码接口实现TinyML组件的自动化发现、匹配与部署，已在23个模型和6个设备上完成验证，完整代码已开源。

ABSTRACT

Tiny machine learning (TinyML) has gained widespread popularity where machine learning (ML) is democratized on ubiquitous microcontrollers, processing sensor data everywhere in real-time. To manage TinyML in the industry, where mass deployment happens, we consider the hardware and software constraints, ranging from available onboard sensors and memory size to ML-model architectures and runtime platforms. However, Internet of Things (IoT) devices are typically tailored to specific tasks and are subject to heterogeneity and limited resources. Moreover, TinyML models have been developed with different structures and are often distributed without a clear understanding of their working principles, leading to a fragmented ecosystem. Considering these challenges, we propose a framework using Semantic Web technologies to enable the joint management of TinyML models and IoT devices at scale, from modeling information to discovering possible combinations and benchmarking, and eventually facilitate TinyML component exchange and reuse. We present an ontology (semantic schema) for neural network models aligned with the World Wide Web Consortium (W3C) Thing Description, which semantically describes IoT devices. Furthermore, a Knowledge Graph of 23 publicly available ML models and six IoT devices were used to demonstrate our concept in three case studies, and we shared the code and examples to enhance reproducibility: https://github.com/Haoyu-R/How-to-Manage-TinyML-at-Scale

研究动机与目标

• 解决由于设备异构性和模型分发非标准化导致的TinyML生态系统碎片化与互操作性不足问题。
• 通过语义建模与知识图谱，实现工业规模下TinyML模型和物联网设备的发现与复用。
• 实现跨多样化嵌入式系统与机器学习架构的自动化、厂商无关的TinyML组件管理。
• 将语义管理集成至低代码平台，提升非专家开发者的可访问性与工业采用率。
• 提供一种标准化、可扩展的框架，用于在真实世界部署中实现可扩展的TinyML系统编排。

提出的方法

• 设计面向TinyML模型的领域特定本体，与W3C设备描述（TD）本体对齐，以语义方式描述神经网络架构、硬件需求和元数据。
• 构建知识图谱（KG），使用RDF三元组在图数据库中存储23个公开TinyML模型和6个物联网设备的语义描述。
• 使用SPARQL查询实现基于传感器可用性、内存和计算约束的灵活、语义驱动的兼容模型-设备对发现。
• 实现低代码平台接口，将用户需求转换为SPARQL查询，通过蓝牙或其他协议实现一键式模型到目标设备的部署。
• 提供开源工具链，可自动从使用TensorFlow Lite for Microcontrollers训练的.tflite模型生成语义表示。
• 扩展框架以支持未来与TinyML即服务（TinyML-as-a-Service）及其他嵌入式推理运行时的集成。

实验结果

研究问题

• RQ1 如何对异构的TinyML模型和物联网设备进行语义描述，并在单一知识模型中实现统一，以支持可扩展管理？
• RQ2 如何自动化实现TinyML模型与物联网设备之间的语义匹配，以减少手动配置与发现时间？
• RQ3 所生成的知识图谱如何在工业物联网部署中实现高效、可重用且互操作的组件发现？
• RQ4 如何将语义管理抽象为低代码接口，以加速非专家开发者对系统的采用？
• RQ5 在真实世界中大规模管理TinyML系统时，使用语义网技术的实际优势与局限性是什么？

主要发现

• 所提出的TinyML模型本体成功以标准化、符合W3C规范的格式，语义化描述了神经网络架构、硬件约束和元数据。
• 包含23个公开TinyML模型和6个物联网设备的知识图谱，通过SPARQL查询实现了兼容模型-设备对的准确、自动化发现。
• 该框架在三个真实世界案例研究中得到验证，展示了基于传感器可用性、内存和计算能力的有效模型-设备匹配。
• 与低代码平台的集成使非专家用户能够以极低技术门槛发现并部署模型，显著降低了部署复杂度。
• 开源的代码库与语义工具链支持可复现性，并可扩展至其他TinyML框架与运行时平台。
• 该方法实现了厂商无关、可扩展且可解释的TinyML组件管理，有效应对工业物联网生态系统中的关键挑战。