[論文レビュー] TinyOL: TinyML with Online-Learning on Microcontrollers

Haoyu Ren, Darko Anicic+1 more|arXiv (Cornell University)|Mar 15, 2021

Data Stream Mining Techniques参考文献 19被引用数 4

ひとこと要約

TinyOL は、マイコン（MCU）上でリアルタイムのモデル適応を可能にする、オンデバイスでの段階的学習のための新規フレームワークを提案する。事前学習済みニューラルネットワークに軽量なオンライン学習レイヤーを追加することで、再訓練を必要とせず、ストリーミングデータから重みを段階的に更新できる。異常検出および分類タスクにおいて、リソースのオーバーヘッドを最小限に抑えつつ、性能が向上することを示した。

ABSTRACT

Tiny machine learning (TinyML) is a fast-growing research area committed to democratizing deep learning for all-pervasive microcontrollers (MCUs). Challenged by the constraints on power, memory, and computation, TinyML has achieved significant advancement in the last few years. However, the current TinyML solutions are based on batch/offline settings and support only the neural network's inference on MCUs. The neural network is first trained using a large amount of pre-collected data on a powerful machine and then flashed to MCUs. This results in a static model, hard to adapt to new data, and impossible to adjust for different scenarios, which impedes the flexibility of the Internet of Things (IoT). To address these problems, we propose a novel system called TinyOL (TinyML with Online-Learning), which enables incremental on-device training on streaming data. TinyOL is based on the concept of online learning and is suitable for constrained IoT devices. We experiment TinyOL under supervised and unsupervised setups using an autoencoder neural network. Finally, we report the performance of the proposed solution and show its effectiveness and feasibility.

研究の動機と目的

• 動的な環境に適応できない静的でバッチ学習されたモデルの限界を解消し、動的な環境に適応するオンデバイスのモデル適応を実現する。
• リモートデバイスの更新、コンセプトドリフト、データ送信コストといった IoT 部署の課題を克服する。
• 完全な再訓練や外部クラウド支援を必要とせず、ベアメタルの MCU 上で段階的学習を実現する。
• 低消費電力ハードウェア上で自動符号化器を用いて、オンデバイスでのポストトレーニングと動的レイヤー構造の適応を実現する可能性を実証する。
• ストリーミング現地データを用いて、時間の経過とともにモデルの精度を向上させる柔軟で軽量なシステムを提供する。

提案手法

• MCU 上で実行される既存のニューラルネットワークに、軽量なオンライン学習レイヤーを統合し、ストリーミングで段階的に動作する。
• 1つのデータサンプルごとに1回のパスで更新する確率的勾配降下法（SGD）を用い、更新後はデータを破棄する。
• 任意の事前学習済みニューラルネットワークに追加層として接続可能なモジュラな C++ ライブラリを実装する。
• 新しいクラスが追加された際に出力レイヤー構造を動的に再構成可能にし、リアルタイムでの適応を可能にする。
• 自己符号化器を用いて教師なし特徴学習を行い、分類タスクの入力として再構成誤差を活用する。
• オンラインおよびオフライン学習の両状況下で、F1スコアおよびマクロ F1スコアの指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 リソース制限のあるマイコン上で、TinyML 応用に適した段階的オンライン学習を効果的に実装できるか？
• RQ2 計算リソースとメモリリソースが限られた状況下で、オンライン学習の性能は従来のバッチ学習と比べてどうなるか？
• RQ3 新しいデータパターンが出現した際に、オンデバイスでのモデル適応が、時間の経過とともにモデルの精度を向上させられるか？
• RQ4 新しいデータに応じて、システムがアーキテクチャ（例：出力クラス数）をどの程度動的に調整できるか？
• RQ5 クラウドベースの再トレーニングに依存せずに、MCU 上でポストトレーニングおよびモデル再構築を実行するのは現実的か？

主な発見

• TinyOL は、ストリーミングデータを用いて、再訓練なしに MCU 上で段階的なオンデバイス学習を可能にし、新しいデータパターンにモデルが適応できる。
• オンライン学習モデルは、データおよび計算リソースが限られた状況でも、オフライン学習と比較して競争力のある性能を示した。
• ストリーミングデータが増えるにつれて F1 スコアが向上し、各学習イテレーションでマクロ F1 スコアが着実に上昇した。
• システムは、教師なし自己符号化器が正常、故障、傾きありのファンモードを分類可能に学習することに成功した。
• エンコーダーの重みが凍結されていることが、異常クラスの性能を制限しており、全重みの微調整がさらなる改善をもたらす可能性を示唆している。
• TinyOL は、64MHz の Cortex-M4 CPU と 256KB RAM を搭載した Arduino Nano 33 BLE Sense ボード上での実世界のシナリオにおいて、実現可能性と有効性を示した。