[论文解读] Edge Impulse: An MLOps Platform for Tiny Machine Learning

Shawn Hymel, Colby Banbury+14 more|arXiv (Cornell University)|Nov 2, 2022

Advanced Neural Network Applications被引用 86

一句话总结

Edge Impulse 提供一个基于云的 TinyML MLOps 平台，解决数据收集、DSP 集成、跨硬件优化、AutoML，以及将模型部署到多样化的嵌入式目标，具备可扩展、可伸缩的架构。

ABSTRACT

Edge Impulse is a cloud-based machine learning operations (MLOps) platform for developing embedded and edge ML (TinyML) systems that can be deployed to a wide range of hardware targets. Current TinyML workflows are plagued by fragmented software stacks and heterogeneous deployment hardware, making ML model optimizations difficult and unportable. We present Edge Impulse, a practical MLOps platform for developing TinyML systems at scale. Edge Impulse addresses these challenges and streamlines the TinyML design cycle by supporting various software and hardware optimizations to create an extensible and portable software stack for a multitude of embedded systems. As of Oct. 2022, Edge Impulse hosts 118,185 projects from 50,953 developers.

研究动机与目标

• 识别嵌入式 TinyML 工作流在数据收集、DSP、开发、部署和监控等方面的挑战。
• 提出并描述一个端到端平台（Edge Impulse），以简化 TinyML 的开发和部署。
• 展示支持数据为中心、可扩展、跨栈优化的架构，用于异构嵌入式硬件。
• 评估该平台在多种设备和模型上的性能、可移植性和可扩展性。

提出的方法

• 描述平台中集成的数据收集和 DSP 预处理。
• 介绍一个可扩展的推理库和 EON 编译器，用于降低 RAM/ROM 使用量。
• 概述 AutoML（EON Tuner），在硬件约束下优化 DSP 和神经网络配置。
• 解释部署工作流，包括代码生成、SDK 和跨平台编译。
• 展示在多种设备和任务基准（KWS、VWW、IC）上的性能评估。

实验结果

研究问题

• RQ1 MLOps 平台如何解决 TinyML 中数据收集、预处理和部署碎片化的问题？
• RQ2 哪些机制（AutoML、DSP 调优、跨体系结构优化）能够在异构硬件上实现可移植、 高效的 TinyML 模型？
• RQ3 DSP 与 NN 协同设计对嵌入式任务的延迟和内存有什么影响？
• RQ4 Edge Impulse 的方法在实际产业、学术界和研究部署中的效果如何？
• RQ5 Edge Impulse 在多种嵌入式平台上的资源和可扩展性性能如何？

主要发现

• 该平台支持端到端的 TinyML 工作流，包括数据摄取、DSP、模型训练、评估和部署，覆盖各种硬件。
• AutoML（EON Tuner）在给定目标硬件约束的情况下，能够探索 DSP 和 NN 配置，帮助快速设计空间探索。
• EON 编译器通过生成绕过 TFLM 解释器的 C++ 级代码来减少 RAM/ROM 使用，从而提高效率。
• 在 Nano 33 BLE Sense、ESP-EYE 和 Raspberry Pi Pico 上的实证评估显示，KWS、VWW、IC 任务在 float32 与 int8 制约下有不同的延迟和资源使用。
• 对于某些任务（如关键词识别），DSP 预处理经常主导总延迟，强调了 DSP 与 NN 组件协同设计的重要性。
• 该平台强调可扩展性、基于 Kubernetes 的可扩展基础设施，以及用于与现有 ML 管道集成的 REST API。