[論文レビュー] Edge Impulse: An MLOps Platform for Tiny Machine Learning

Shawn Hymel, Colby Banbury+14 more|arXiv (Cornell University)|Nov 2, 2022

Advanced Neural Network Applications被引用数 86

ひとこと要約

Edge Impulseは、データ収集、DSP統合、ハードウェア横断の最適化、AutoML、そして拡張性がありスケーラブルなアーキテクチャを備えた、多様な組み込みターゲットへデプロイするクラウドベースのTinyML向けMLOpsプラットフォームを提供します。

ABSTRACT

Edge Impulse is a cloud-based machine learning operations (MLOps) platform for developing embedded and edge ML (TinyML) systems that can be deployed to a wide range of hardware targets. Current TinyML workflows are plagued by fragmented software stacks and heterogeneous deployment hardware, making ML model optimizations difficult and unportable. We present Edge Impulse, a practical MLOps platform for developing TinyML systems at scale. Edge Impulse addresses these challenges and streamlines the TinyML design cycle by supporting various software and hardware optimizations to create an extensible and portable software stack for a multitude of embedded systems. As of Oct. 2022, Edge Impulse hosts 118,185 projects from 50,953 developers.

研究の動機と目的

• データ収集、DSP、開発、デプロイ、監視を含む組み込みTinyMLワークフローの課題を特定する。
• TinyMLの開発とデプロイを効率化するエンドツーエンドのプラットフォーム（Edge Impulse）を提案・説明する。
• データ中心、拡張性、クロススタック最適化をサポートする、異種の組み込みハードウェア向けのアーキテクチャを示す。
• 複数のデバイスとモデルにわたるプラットフォームの性能、移植性、スケーラビリティを評価する。

提案手法

• プラットフォームに統合されたデータ収集とDSP前処理を説明する。
• RAM/ROM使用量を削減する拡張可能な推論ライブラリとEONコンパイラを提示する。
• ハードウェア制約の下でDSPとNN構成を最適化するAutoML（EON Tuner）の概要。
• コード生成、SDK、クロスプラットフォームコンパイルを含むデプロイメントワークフローを説明する。
• 複数デバイスとタスクベンチマーク（KWS、VWW、IC）における性能評価を実演する。

実験結果

リサーチクエスチョン

• RQ1 MLOpsプラットフォームはTinyMLにおけるデータ収集、前処理、およびデプロイメントの断片化をどのように解消できるか？
• RQ2 AutoML、DSP調整、クロスアーキテクチャ最適化といった仕組みは、異種ハードウェア上で移植性が高く効率的なTinyMLモデルをどのように実現するか？
• RQ3 組み込みタスクにおけるレイテンシとメモリに対するDSPとNNの共設計の影響は何か？
• RQ4 実世界の産業、学術、研究展開におけるEdge Impulseのアプローチの有効性はどの程度か？
• RQ5 複数の組み込みプラットフォームにおけるEdge Impulseのリソースとスケーラビリティの特性は何か？

主な発見

• このプラットフォームは、データ取り込み、 DSP、モデル訓練、評価、そして多様なハードウェアにまたがるデプロイを含むエンドツーエンドのTinyMLワークフローをサポートします。
• AutoML（EON Tuner）は、ターゲットハードウェアの制約を考慮したDSPとNNの構成の探索を可能にし、迅速な設計空間探索を支援します。
• EONコンパイラは、TFLMインタプリタを回避するC++レベルのコードを生成することでRAM/ROM使用量を削減し、効率を向上させます。
• Nano 33 BLE Sense、ESP-EYE、Raspberry Pi Picoを跨る実証評価は、float32およびint8レジーム下でKWS、VWW、ICタスクのレイテンシとリソース使用量が異なることを示します。
• DSP前処理は特定のタスク（例：キーワード検出）で総レイテンシのほとんどを占めることが多く、DSPとNNコンポーネントの共設計の重要性を浮き彫りにします。
• このプラットフォームは拡張性、Kubernetesベースのスケーラブルなインフラストラクチャ、既存のMLパイプラインと統合するREST APIを強調しています。