[論文レビュー] Memory-Driven Mixed Low Precision Quantization For Enabling Deep Network Inference On Microcontrollers

Manuele Rusci, Alessandro Capotondi+1 more|arXiv (Cornell University)|May 30, 2019

Advanced Memory and Neural Computing被引用数 41

ひとこと要約

本論文は、 memory-driven mixed-precision quantization method と Integer Channel-Normalization (ICN) 活性化を提案し、マイクロコントローラ上でのエンドツーエンドの整数のみ推論を実現する。STM32H7（2MB Flash、512kB RAM）での 68% Top1 を達成し、従来の8ビット手法より8%高い。

ABSTRACT

This paper presents a novel end-to-end methodology for enabling the deployment of low-error deep networks on microcontrollers. To fit the memory and computational limitations of resource-constrained edge-devices, we exploit mixed low-bitwidth compression, featuring 8, 4 or 2-bit uniform quantization, and we model the inference graph with integer-only operations. Our approach aims at determining the minimum bit precision of every activation and weight tensor given the memory constraints of a device. This is achieved through a rule-based iterative procedure, which cuts the number of bits of the most memory-demanding layers, aiming at meeting the memory constraints. After a quantization-aware retraining step, the fake-quantized graph is converted into an inference integer-only model by inserting the Integer Channel-Normalization (ICN) layers, which introduce a negligible loss as demonstrated on INT4 MobilenetV1 models. We report the latency-accuracy evaluation of mixed-precision MobilenetV1 family networks on a STM32H7 microcontroller. Our experimental results demonstrate an end-to-end deployment of an integer-only Mobilenet network with Top1 accuracy of 68% on a device with only 2MB of FLASH memory and 512kB of RAM, improving by 8% the Top1 accuracy with respect to previously published 8 bit implementations for microcontrollers.

研究の動機と目的

• デバイスのメモリ制約下で、各活性化とウェイトテンソルの最小ビット精度を自動選択する。
• 混合精度量子化を通じて、マイクロコントローラ上でエンドツーエンドの整数のみ推論を実現する。
• サブバイトおよびチャンネルごと量子化をサポートする Integer Channel-Normalization (ICN) 活性化を導入する。
• STM32H7 MCU 上での厳密なメモリ予算下で、MobilenetV1 ファミリのレイテンシと精度のトレードオフを示す。

提案手法

• 活性化とウェイトに対して 8、4、または 2-bit の uniform quantization を用いた混合精度量子化を適用する。
• メモリ制約を満たすよう、整数のみの演算で推論をモデル化し、ルールベースの反復手順を用いる。
• 偽量子化グラフを整数のみのデプロイへ変換するために、Integer Channel-Normalization (ICN) 層を導入・適用する。
• 量子化後の精度回復のために、量子化認識リ retraining を実施する。
• チャネル毎量子化をサポートし、ウォーレツを折り畳むことによる精度崩壊を防ぐため Batch Normalization パラメータをウェイトへ折り込ませない。
• CMSIS-NN 最適化を用いて STM32H7 上で MobilenetV1 ファミリの latency-accuracy を評価する。

実験結果

リサーチクエスチョン

• RQ1 memory-constrained なマイクロコントローラは mixed-precision 量子化を通じてエンドツーエンドの整数のみ深層ネットワークをサポートできるか。
• RQ2 デバイスのメモリ制約を満たしつつ、精度を維持しながら各テンソルごとのビット幅を自動割り当てするにはどうするか。
• RQ3 サブバイト量子化に対する精度とデプロイ可能性に与える Integer Channel-Normalization (ICN) の影響は何か。
• RQ4 層ごと量子化とチャネルごと ICN の精度・メモリフットプリントの比較において、MCU ターゲットでの違いは何か。

主な発見

• STM32H7（2MB Flash、512kB RAM）でのエンドツーエンド整数のみ MobilenetV1 デプロイは 68% Top1 精度を達成。
• この 68% モデルは、マイクロコントローラ向けの既に公表された8ビット整数のみ実装より8%高い。
• PL+ICN INT4 は BN 折り畳みによる精度崩壊を防ぎ、PL+FB INT4 が崩壊する訓練収束を可能にする。
• PC+ICN INT4 は約 2.12 MB のメモリフットプリントで 66.41% Top1 精度を得、ICN を用いたチャネルご量子化の利点を示す。
• MixQ-PC-ICN 構成は Pareto 効率的な精度-レイテンシーのトレードオフを提供し、MixQ-PL に比べて modest なレイテンシオーバーヘッド（約 20%）でより高い精度を達成。
• 2MB ROM / 512kB RAM の予算では、いくつかの構成が最大で 68% Top1 精度を達成し、同様の制約下での従来のいくつかの混合精度手法を上回る。