[論文レビュー] $\mu$NAS: Constrained Neural Architecture Search for Microcontrollers.

Edgar Liberis, Łukasz Dudziak+1 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Neural Network Applications参考文献 41被引用数 5

ひとこと要約

µNAS は、マイコンコントローラー（MCU）を対象にした神経ネットワークアーキテクチャ探索システムであり、RAM、永続ストレージ、推論速度の制約に特に焦点を当てている。細かすぎる探索空間と正確なリソース推定、進化的探索を組み合わせることで、従来のMCU最適化モデルに比べ、最大4.8%高い精度または13倍小さいメモリ使用量を達成している。

ABSTRACT

IoT devices are powered by microcontroller units (MCUs) which are extremely resource-scarce: a typical MCU may have an underpowered processor and around 64 KB of memory and persistent storage, which is orders of magnitude fewer computational resources than is typically required for deep learning. Designing neural networks for such a platform requires an intricate balance between keeping high predictive performance (accuracy) while achieving low memory and storage usage and inference latency. This is extremely challenging to achieve manually, so in this work, we build a neural architecture search (NAS) system, called $\\mu$NAS, to automate the design of such small-yet-powerful MCU-level networks. $\\mu$NAS explicitly targets the three primary aspects of resource scarcity of MCUs: the size of RAM, persistent storage and processor speed. $\\mu$NAS represents a significant advance in resource-efficient models, especially for "mid-tier" MCUs with memory requirements ranging from 0.5 KB to 64 KB. We show that on a variety of image classification datasets $\\mu$NAS is able to (a) improve top-1 classification accuracy by up to 4.8%, or (b) reduce memory footprint by 4--13x, or (c) reduce the number of multiply-accumulate operations by at least 2x, compared to existing MCU specialist literature and resource-efficient models.

研究の動機と目的

• 制限されたRAM、フラッシュメモリ、処理能力を備えたリソース制約の厳しいマイコンコントローラー（MCU）に、正確で効率的なニューラルネットワークをデプロイする課題に対処すること。
• 通常はモバイルやGPUプラットフォームを想定して設計された、従来のNASおよびモデル圧縮手法には、MCUレベルの制約にまでスケーリングできないという限界があること。
• MCUにおける3つの主要なリソースボトルネック（RAM、永続ストレージ、推論遅延）を明示的にモデル化・最適化するNASシステムの開発。
• 最大64 KBのSRAMおよびフラッシュメモリを備えた「ミドルエンド」MCUでデプロイ可能な、小型で高精度なニューラルアーキテクチャの発見を可能にすること。

提案手法

• MCU効率に影響を与える細かすぎるアーキテクチャ的選択（レイヤー種別、深さ、幅、接続性など）を捉える、非常に細かい粒度の探索空間を設計する。
• 局所的探索を効率的に行い、集団の多様性を維持し、早期収束を回避する「エイジングエボリューション（AE）」と呼ばれる進化的ローカル探索アルゴリズムを採用する。
• 探索中に、RAM、フラッシュ、乗算累積（MAC）演算の各リソース使用量をレイヤー単位で正確に推定する仕組みを統合し、アーキテクチャ選択をガイドする。
• 精度の著しい損失なしにモデルのサイズとMAC演算数をさらに削減するために、モデル prune を後処理として適用する。
• 精度、モデルサイズ、推論速度のバランスを取るためにスカラー化された多目的最適化を採用する。
• モジュラー設計により、探索アルゴリズム、圧縮技術、リソース推定器といったコンponentを独立して交換可能にすることで、探索の効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 RAM、永続ストレージ、推論速度といった極めて厳しいリソース制約を考慮して、マイコンコントローラー向けに効果的に探索・最適化できるNASシステムを設計できるか？
• RQ2 非常に細かい粒度の探索空間に加え、正確なリソース推定を組み合わせることで、MCUへのデプロイに適したモデルの品質はどのように向上するか？
• RQ3 変形（例：エイジングエボリューション）を用いた進化的探索は、複雑で細かい粒度の探索空間を効率的に探索し、小型で高精度なモデルを発見できるか？
• RQ4 µNASは、既存のモデル圧縮およびNAS手法に比べ、MCUプラットフォーム上での精度、モデルサイズ、MAC演算数の観点でどの程度優れているか？
• RQ5 CIFAR-10とMNISTの間でデータセットの複雑さが増すと、µNASの探索効率はどのように変化するか？

主な発見

• MNISTでは、µNASが0.5 KB未満のパラメータ数を持つ圧縮済みの全結合型モデルを発見し、99%を超えるトップ-1精度を達成した。これは超小型モデルの実現可能性を示している。
• 複数の画像分類データセットにおいて、µNASは既存のMCU専用モデルおよび文献ベースラインに比べ、トップ-1精度を最大4.8%向上させた。
• µNASは、既存のリソース効率の良いモデルおよびMCU分野の文献に比べ、モデルのメモリ使用量を4〜13倍小さくした。
• 乗算累積（MAC）演算数は、既存のモデルに比べて最低2倍以上削減され、推論効率の向上が示された。
• 探索プロセスは遅い（CIFAR-10で約8000ステップ、40 GPU日分）が、Paretoフロントが徐々に改善されており、より長い探索時間でさらなる向上が期待できる。
• µNASのモジュラー設計により、探索アルゴリズム、圧縮技術、リソース推定器といったコンponentの再利用が可能であり、将来の異なる実行戦略やハードウェアターゲットへの適応が可能になる。