[論文レビュー] Measuring what Really Matters: Optimizing Neural Networks for TinyML

Lennart Heim, Andreas Biri+2 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Numerical Analysis Techniques被引用数 26

ひとこと要約

本論文は、MCU上の知覚可能な指標（latency、energy）が MACC/ FLOPs のような代理指標だけでは信頼性をもって予測できないことを示し、TinyML アプリケーションのために ARM Cortex‑M デバイス上で NN を直接ベンチマーク・最適化する実装認識ツールチェーンを導入する。

ABSTRACT

With the surge of inexpensive computational and memory resources, neural networks (NNs) have experienced an unprecedented growth in architectural and computational complexity. Introducing NNs to resource-constrained devices enables cost-efficient deployments, widespread availability, and the preservation of sensitive data. This work addresses the challenges of bringing Machine Learning to MCUs, where we focus on the ubiquitous ARM Cortex-M architecture. The detailed effects and trade-offs that optimization methods, software frameworks, and MCU hardware architecture have on key performance metrics such as inference latency and energy consumption have not been previously studied in depth for state-of-the-art frameworks such as TensorFlow Lite Micro. We find that empirical investigations which measure the perceptible metrics - performance as experienced by the user - are indispensable, as the impact of specialized instructions and layer types can be subtle. To this end, we propose an implementation-aware design as a cost-effective method for verification and benchmarking. Employing our developed toolchain, we demonstrate how existing NN deployments on resource-constrained devices can be improved by systematically optimizing NNs to their targeted application scenario.

研究の動機と目的

• メモリとエネルギー制約のあるマイクロコントローラ上でエッジ対応のニューラルネットワークの必要性を動機付ける。
• 最適化手法、ソフトウェアフレームワーク、MCU ハードウェアアーキテクチャが latency や energy のような知覚指標に与える影響を調査する。
• MCU 上でレイヤー単位の測定と最適化を行う完全なハードウェア/ソフトウェアツールチェーンを開発する。
• 知覚指標とアーキテクチャ特徴を関連付けることで、ハードウェア認識 TinyML の設計ガイドラインを提供する。

提案手法

• MCU に NN をデプロイしてレイヤー単位の latency と energy を測定する実装認識ベンチマークツールチェーンを開発する。
• ARM Cortex‑M MCUs における量子化、CMSIS-NN のような最適化技術と知覚指標の関係を定量化する。
• ホスト上（TensorFlow/TFLite）とデバイス上実行を比較して精度低下とメモリ使用量を評価する。
• 遅延 per operation delta = t_m / c_e を用いてレイヤーの効率をアーキテクチャやハイパーパラメータ間で比較する。
• レイヤータイプ、カーネルパラメータ、ハードウェア機能がスループットとエネルギー消費に与える影響を分析する。
• ハードウェア認識NN設計が知覚指標の制約内で精度を改善できることを実証する。

実験結果

リサーチクエスチョン

• RQ1 Common proxy metrics（例：演算数）が Cortex‑M MCUs での実際の on‑device latency と energy とどの程度相関するか？
• RQ2 8 bit 量子化と CMSIS‑NN が異なるネットワークアーキテクチャで推論の latency と energy に与える影響は？
• RQ3 レイヤータイプとハイパーパラメータは MCU のアーキテクチャ特性とどのように相互作用して知覚指標に影響するか？
• RQ4 実装認識ツールチェーンは TinyML 展開向けの NAS と NN 設計を信頼性をもって導くことができるか？
• RQ5 どのハードウェアターゲット（MCU モデル）が与えられたネットワークに対して latency と energy のパレート効率的なトレードオフを提供するか？

主な発見

• 量子化はメモリ使用量を最大で 73% 削減し、精度の低下はケースによっては 0.05% にとどまる。
• 8 bit 量子化による CMSIS‑NN 加速は、FPU 有効な float0n モデルより層によっては最大約4倍のスピードアップを実現する。
• 最適化は層とアーキテクチャ間で一様でない加速を生み出す。大規模ネットワーク（例：ResNet）は 29x–35x、より小規模なネットワークは 12.9x–16x のスピードアップを見る。
• 遅延 per operation は層タイプによって異なり、総演算数だけで信頼性の高い予測はできない。密結合層および畳み込み層はハードウェア認識最適化の大きな利得を示す一方、デプスワイズ畳み込みは利得が小さい。
• 遅延とエネルギー消費は最適化と MCUs 全体でほぼ完全な線形相関を示す（r ≈ 0.995）、ただし最良のハードウェア選択は特定の展開におけるパレートトレードオフ次第である。
• MCU の選択はパレート効率的（例：F4）になり得るが、代理指標だけでは不十分で、経験的なハードウェア認識テストが不可欠である。