[論文レビュー] How to Manage Tiny Machine Learning at Scale: An Industrial Perspective

Haoyu Ren, Darko Anicic+1 more|arXiv (Cornell University)|Feb 18, 2022

IoT and Edge/Fog Computing被引用数 5

ひとこと要約

本論文は、W3C Web of Things (WoT) および TinyML 専用のオントロジーを用いた意味的知識グラフフレームワークを提案し、産業規模での微小機械学習（TinyML）モデルおよび IoT デバイスのスケーラブルで相互運用可能な管理を実現する。ニューラルネットワークとデバイス機能を統一的かつ機械可読形式でモデル化することで、SPARQL クエリおよび低コードインターフェースを介した自動的発見・マッチング・デプロイメントが可能となり、23 個のモデルおよび 6 台のデバイスを用いた実証実験が行われ、全コードがオープンソース化された。

ABSTRACT

Tiny machine learning (TinyML) has gained widespread popularity where machine learning (ML) is democratized on ubiquitous microcontrollers, processing sensor data everywhere in real-time. To manage TinyML in the industry, where mass deployment happens, we consider the hardware and software constraints, ranging from available onboard sensors and memory size to ML-model architectures and runtime platforms. However, Internet of Things (IoT) devices are typically tailored to specific tasks and are subject to heterogeneity and limited resources. Moreover, TinyML models have been developed with different structures and are often distributed without a clear understanding of their working principles, leading to a fragmented ecosystem. Considering these challenges, we propose a framework using Semantic Web technologies to enable the joint management of TinyML models and IoT devices at scale, from modeling information to discovering possible combinations and benchmarking, and eventually facilitate TinyML component exchange and reuse. We present an ontology (semantic schema) for neural network models aligned with the World Wide Web Consortium (W3C) Thing Description, which semantically describes IoT devices. Furthermore, a Knowledge Graph of 23 publicly available ML models and six IoT devices were used to demonstrate our concept in three case studies, and we shared the code and examples to enhance reproducibility: https://github.com/Haoyu-R/How-to-Manage-TinyML-at-Scale

研究の動機と目的

• 異種のデバイスと非標準化されたモデル配布メカニズムによる TinyML エコシステムにおける断片化と相互運用性の欠如を解消すること。
• 意味的モデリングと知識グラフを活用して、産業規模での TinyML モデルおよび IoT デバイスの発見と再利用を可能にすること。
• 多様な組み込みシステムおよび機械学習アーキテクチャをカバーする、自動的かつベンダーアーギャノスな TinyML コンポーネント管理を実現すること。
• 低コードプラットフォームへの意味的管理の統合を通じて、非専門家開発者のアクセス性を高め、産業分野での採用を促進すること。
• 実世界の展開においてスケーラブルな TinyML システムオ케ストレーションを可能にする、標準的かつ拡張可能なフレームワークを提供すること。

提案手法

• W3C デバイス記述（TD）オントロジーに準拠した、TinyML モデルに特化したドメイン固有のオントロジーを設計し、ニューラルネットワークアーキテクチャ、ハードウェア要件、メタデータを意味的に記述する。
• RDF トリプルを用いたグラフデータベースに、23 個の公開 TinyML モデルおよび 6 台の IoT デバイスの意味的記述を格納する知識グラフ（KG）を構築する。
• センサーの可用性、メモリ、計算制約に基づいて、柔軟で意味的基盤の発見が可能な、適合性のあるモデル-デバイスペアの検索を SPARQL クエリで実現する。
• ユーザー要件を SPARQL クエリに変換する低コードプラットフォームインターフェースを実装し、Bluetooth などのプロトコルを介して、ワンクリックでターゲットデバイスへのモデルデプロイメントを可能にする。
• TensorFlow Lite for Microcontrollers で訓練された .tflite モデルから、自動的に意味的表現を生成するためのオープンソースツールキットを提供する。
• 今後の TinyML サービス（TinyML-as-a-Service）およびその他の組み込み推論ランタイムへの統合を想定したフレームワークの拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 異種の TinyML モデルおよび IoT デバイスを、1 つの知識モデルに統一的に意味的に記述し、スケーラブルな管理を可能にする方法は何か？
• RQ2 TinyML モデルと IoT デバイス間の意味的マッチングを自動化することで、手動による設定や発見に要する時間を短縮できるか？
• RQ3 得られた知識グラフが、産業用 IoT 展開において、効率的で再利用可能かつ相互運用可能なコンポーネント発見をどのように可能にするか？
• RQ4 意味的管理を低コードインターフェースに抽象化することで、非専門家開発者の採用をどのように加速できるか？
• RQ5 実世界の TinyML システムをスケーラブルに管理するために、意味ウェブ技術を用いることの実用的利点と限界は何か？

主な発見

• 提案された TinyML モデルオントロジーは、ニューラルネットワークアーキテクチャ、ハードウェア制約、メタデータを、標準的かつ W3C 合致形式で意味的に記述できることを示した。
• 23 個の公開 TinyML モデルおよび 6 台の IoT デバイスを含む知識グラフは、SPARQL クエリを用いて正確かつ自動的に適合性のあるモデル-デバイスペアを発見できることを実証した。
• 3 つの実世界の事例研究を通じて、センサーの可用性、メモリ、計算能力に基づいたモデルとデバイスの効果的マッチングが可能であることを示した。
• 低コードプラットフォームとの統合により、非専門家ユーザーが技術的負担を最小限に抑え、モデルの発見とデプロイメントが可能となり、デプロイメントの障壁が顕著に低減された。
• オープンソースのコードベースおよび意味的ツールキットにより、再現性が確保され、今後の他の TinyML フレームワークやランタイムプラットフォームへの拡張が可能となった。
• 本アプローチにより、ベンダーに依存しない、スケーラブルで解釈可能な TinyML コンポーネント管理が実現され、産業用 IoT エコシステムにおける主な課題に対処できた。