[論文レビュー] Enabling Large Neural Networks on Tiny Microcontrollers with Swapping

Miao Hong-yu, Felix Xiaozhu Lin|arXiv (Cornell University)|Jan 14, 2021

Advanced Memory and Neural Computing参考文献 28被引用数 11

ひとこと要約

本論文では、マイコン（MCU）がオンチップSRAMに収まりきらない大規模ニューラルネットワーク（NN）を実行できるシステムレベルのソリューションであるSwapNNを提案する。この手法は、SRAMと外部フラッシュメモリの間でデータタイルを動的にスワップすることで、MCUのSRAMサイズをはるかに超える大規模NNの実行を可能にする。I/O／計算の並列処理を活用し、MCUのハードウェア機能を活用することで、性能・エネルギー・セキュリティのオーバーヘッドを最小限に抑え、全精度の推論を実現する。これにより、MCUはSRAMサイズの1000倍まで大きなモデルを実行可能となる。

ABSTRACT

Running neural networks (NNs) on microcontroller units (MCUs) is becoming increasingly important, but is very difficult due to the tiny SRAM size of MCU. Prior work proposes many algorithm-level techniques to reduce NN memory footprints, but all at the cost of sacrificing accuracy and generality, which disqualifies MCUs for many important use cases. We investigate a system solution for MCUs to execute NNs out of core: dynamically swapping NN data chunks between an MCU's tiny SRAM and its large, low-cost external flash. Out-of-core NNs on MCUs raise multiple concerns: execution slowdown, storage wear out, energy consumption, and data security. We present a study showing that none is a showstopper; the key benefit -- MCUs being able to run large NNs with full accuracy and generality -- triumphs the overheads. Our findings suggest that MCUs can play a much greater role in edge intelligence.

研究の動機と目的

• SRAMが数十〜数100KB程度のメモリ制限のあるマイコン（MCU）上で、大規模で高精度なニューラルネットワークを実行するという、極めて重要な課題に取り組む。
• MCUのメモリに収めるためにモデルを圧縮・量子化する従来の手法では精度や汎用性を犠牲にしているため、その制限を克服する。
• 外部フラッシュメモリとの間でNNのレイヤーを動的にスワップする「オーバー・ザ・コア実行」が、MCU上で実現可能であることを示す。これは、I/Oオーバーヘッド、摩耗、エネルギー、セキュリティの懸念があるが、それらを克服できるかが焦点である。
• I/Oと計算を効果的に重ねて実行することで、性能劣化を最小限に抑え、ハードウェアの利用効率を最大化するスケジューラ（SwapNN）を開発する。
• MCUが今後、エッジインテリジェンス分野で果たす役割を拡大するため、変更のない大規模NNを全精度・汎用性を保ったまま実行可能となることを確立する。

提案手法

• 各NNレイヤーを、MCUのSRAMに収まる小さなデータチャンク（タイル）に分割するタイルベースのオーバー・ザ・コア実行モデルを設計する。
• I/Oと計算のオーバーラップを複数の粒度で実現する並列スケジューラ（SwapNN）を実装する：レイヤー内（タイルレベル）、レイヤー間（レイヤーレベル）、データフレーム間（パイプラインレベル）。
• 多くのNNレイヤー（特に畳み込み層）は計算がボトルネックであるため、I/O遅延が長時間の計算処理によって自然に隠される。
• ハードウェアアクセcelレート暗号化（例：AES）とハッシュベースの整合性チェックを活用し、オーバー・ザ・コアデータの機密性と、静黙的データ破損の検出可能性を確保する。
• DMA、暗号アクセcelレータ、SDカードの過剰プロビジョニングによる耐久性といった、MCUレベルのハードウェア機能を活用し、エネルギーと摩耗の懸念を低減する。
• TensorFlow Lite Micro や CMSIS-NN といった既存の推論フレームワークに、NNアーキテクチャを変更せずに統合可能な透明な拡張機能として統合する。

実験結果

リサーチクエスチョン

• RQ1 限られたSRAMと遅い外部フラッシュストレージに依存するMCU上で、オーバー・ザ・コアニューラルネットワーク推論が実用的であるか？
• RQ2 SRAMと外部フラッシュ間のスワップに起因するI/Oオーバーヘッドが推論速度を著しく低下させるのか、それとも効果的なタスクスケジューリングによって隠せるのか？
• RQ3 頻繁なI/O操作がSDカードの摩耗に与える影響は何か？ハードウェアの過剰プロビジョニングと間欠的アクセスパターンによって緩和可能か？
• RQ4 すでに高負荷のMCUにI/O操作を追加するとエネルギー消費が著しく増加するのか？これを最小限に抑えることは可能か？
• RQ5 SDカードなどの信頼できないストレージにオフチップで保存されるニューラルネットワークの重みや特徴マップについて、データの機密性と整合性を確保できるか？

主な発見

• オーバー・ザ・コア推論とスワッピングはMCU上で実現可能である：本システムは、最大340KBのSRAMを用いて、VGG16、MobileNet、AlexNetなどの大規模NNを実行可能であり、利用可能なSRAMサイズの1000倍まで大きなモデルを処理できる。
• I/Oオーバーヘッドは最小限に抑えられる。多くのレイヤー（特に畳み込み層）は計算がボトルネックであるため、I/O遅延は長時間の計算処理によって自然に隠され、特に低クロック周波数のMCUでは顕著に効果を発揮する。
• SDカードの摩耗は懸念されない。I/Oは計算がボトルネックとなるレイヤーの間でのみ発生する間欠的アクセスパターンと、ハードウェアによる過剰プロビジョニングを組み合わせることで、重度の使用状況下でも10年以上の書き込み耐久性を達成可能である。
• I/Oに起因するエネルギー消費はわずかである。計算中はMCUがすでに高消費電力状態にあるため、SDカードを起動させる追加エネルギーコストはわずかに抑えられる。
• ハードウェアアクセcelレート暗号化と整合性チェック（例：AES、SHA）により、データの機密性と整合性を確保可能であり、性能への影響は最小限に抑えられる（最も遅いNN処理と同等）。
• 本システムは、圧縮手法とは異なり、精度と汎用性を完全に保持した全精度モデル実行を実現する。これにより、オンデバイスでのトランスファーラーニングやモデルプロファイリングといった、新たなユースケースが可能となる。