[論文レビュー] Efficient Neural Network Deployment for Microcontroller

Hasan Unlu|arXiv (Cornell University)|Jul 2, 2020

Advanced Neural Network Applications参考文献 3被引用数 9

ひとこと要約

本論文は、マイコン上でのニューラルネットワークの効率的デプロイメントを実現する2つの新規最適化——統合型インプレースマックスプーリングおよびピンポンバッファリング——を提案する。ストライド≥カーネルサイズのマックスプーリングにおいて中間バッファを排除し、層間でメモリを再利用することで、CMSIS-NNと比較してRAM使用量を74％削減した。これにより、100KB未満のSRAM搭載デバイスでも最小限の性能損失で推論が可能になった。

ABSTRACT

Edge computing for neural networks is getting important especially for low power applications and offline devices. TensorFlow Lite and PyTorch Mobile were released for this purpose. But they mainly support mobile devices instead of microcontroller level yet. Microcontroller support is an emerging area now. There are many approaches to reduce network size and compute load like pruning, binarization and layer manipulation i.e. operator reordering. This paper is going to explore and generalize convolution neural network deployment for microcontrollers with two novel optimization proposals offering memory saving and compute efficiency in 2D convolutions as well as fully connected layers. The first one is in-place max-pooling, if the stride is greater than or equal to pooling kernel size. The second optimization is to use ping-pong buffers between layers to reduce memory consumption significantly. The memory savings and performance will be compared with CMSIS-NN framework developed for ARM Cortex-M CPUs. The final purpose is to develop a tool consuming PyTorch model with trained network weights, and it turns into an optimized inference engine(forward pass) in C/C++ for low memory(kilobyte level) and limited computing capable microcontrollers.

研究の動機と目的

• 制限されたSRAM（キロバイトレベル）および制限された計算リソースを備えたマイコン上で、ニューラルネットワークの効率的推論を可能にすること。
• シングルコアマイコンにおける順次ニューラルネットワーク実行において、メモリフットプリントを低減し、メモリ再利用を向上させること。
• トレーニング済みのPyTorchモデルを最適化されたC/C++推論コードに変換するツールチェーンを開発すること。
• ROM使用量をほぼ同等に保ちながら、CMSIS-NNと比較してRAM効率に優れたフレームワークを実現すること。

提案手法

• ストライド ≥ プーリングカーネルサイズの場合に、マックスプーリングを畳み込み層の出力に統合し、結果を入力バッファに直接書き込むことで、中間保存領域を排除する。
• 層間でピンポンバッファ戦略を採用し、複数の層で最大の間接活性化バッファを再利用することで、ピークメモリ使用量を最小限に抑える。
• モデル重みを.bssや.dataセグメントではなく、.textセグメントに移動させることで、実行時割り当てを回避し、SRAM消費を削減する。
• 独自のメモリレイアウトとバッファスケジューリングを用い、ピークメモリを個々の最大出力バッファではなく、最初の2つの層出力の最大値に制限する。
• ReLU活性化関数を畳み込みカーネルに統合することでメモリアクセスを最適化し、追加のメモリや計算を回避する。
• 最適化されたモデルをRISC-VおよびARM Cortex-Mプラットフォーム向けのC/C++コードにコンパイルし、組み込みデプロイメントを対象とする。

実験結果

リサーチクエスチョン

• RQ1 ストライド ≥ プーリングカーネルサイズの場合に、インプレースマックスプーリングはマイコン上での畳み込みニューラルネットワークにおけるメモリ使用量を削減できるか？
• RQ2 ピンポンバッファリングは、マイコン上での順次ニューラルネットワーク推論において、ピークメモリ使用量をどの程度低減できるか？
• RQ3 LeNet-5のような標準的なCNNに対して、提案フレームワークはCMSIS-NNと比較してRAMおよびROM使用量においてどのように差をつけるか？
• RQ4 マイコン上で推論性能に悪影響を及げることなく、モデル重みを読み取り専用メモリ（ROM）に安全に格納できるか？
• RQ5 100KB未満のSRAMを搭載したマイコン上で、32ビット浮動小数点LeNet-5モデルの最大メモリ削減量はどの程度か？

主な発見

• 提案フレームワークはピークSRAM使用量を11.2 KBにまで削減し、CMSIS-NNの44 KBと比較して74％の削減を達成したが、ROM使用量は同一の36 KBを維持した。
• 統合型インプレースマックスプーリング最適化により、ストライド ≥ プーリングカーネルサイズの場合に中間バッファの必要がなくなり、結果が畳み込み出力バッファに直接書き込まれた。
• ピンポンバッファ戦略により、ピークメモリ使用量が最初の2つの層出力の最大値に制限され、全サイズのスクラッチバッファを割り当てる場合と比較して、顕著にメモリフットプリントが削減された。
• LeNet-5の総メモリ要件は、283 KB（246 KBのパラメータ + 37 KBの活性化）から、SRAM 11.2 KB、ROM 36 KBにまで削減された。
• フレームワークは、SiFive FE310-G000 RISC-Vマイコンに、カメラ入力を受け取り、UART出力で正しく分類結果を出力するリアルタイム推論を成功裏にデプロイした。
• 本手法はRISC-VおよびARM Cortex-Mプラットフォームの両方と互換性があり、最小限のパフォーマンス影響とモデル精度の損失なしに動作した。