[論文レビュー] Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics

Stone Yun, Alexander Wong|arXiv (Cornell University)|Apr 24, 2021

Advanced Neural Network Applications参考文献 27被引用数 5

ひとこと要約

本論文は、MobileNetsを含む深度分離畳み込みニューラルネットワーク（DWSCNNs）が、トレーニング後量子化において顕著な精度低下を示す理由を調査する。多スケールの分布ダイナミクスに細分化された分析を通じて、チャネル単位とレイヤー単位の分布間で生じる動的レンジの変動と分布不一致が、過剰な量子化誤差の蓄積を引き起こし、その結果、通常のCNNと比較してDWSCNNの量子化性能が著しく劣化することを特定した。

ABSTRACT

As the "Mobile AI" revolution continues to grow, so does the need to understand the behaviour of edge-deployed deep neural networks. In particular, MobileNets are the go-to family of deep convolutional neural networks (CNN) for mobile. However, they often have significant accuracy degradation under post-training quantization. While studies have introduced quantization-aware training and other methods to tackle this challenge, there is limited understanding into why MobileNets (and potentially depthwise-separable CNNs (DWSCNN) in general) quantize so poorly compared to other CNN architectures. Motivated to gain deeper insights into this phenomenon, we take a different strategy and study the multi-scale distributional dynamics of MobileNet-V1, a set of smaller DWSCNNs, and regular CNNs. Specifically, we investigate the impact of quantization on the weight and activation distributional dynamics as information propagates from layer to layer, as well as overall changes in distributional dynamics at the network level. This fine-grained analysis revealed significant dynamic range fluctuations and a "distributional mismatch" between channelwise and layerwise distributions in DWSCNNs that lead to increasing quantized degradation and distributional shift during information propagation. Furthermore, analysis of the activation quantization errors show that there is greater quantization error accumulation in DWSCNN compared to regular CNNs. The hope is that such insights can lead to innovative strategies for reducing such distributional dynamics changes and improve post-training quantization for mobile.

研究の動機と目的

• MobileNetや他のDWSCNNがトレーニング後量子化において顕著な精度低下を示す理由を理解すること。
• この劣悪な量子化挙動が、深度分離畳み込みに固有のものか、MobileNetアーキテクチャの設計選択によるものかを調査すること。
• 量子化劣化に与える影響を評価するため、レイヤー間で変化する重みおよび活性化分布の多スケール分布ダイナミクスの役割を分析すること。
• DWSCNNと通常のCNNの間で、量子化誤差の蓄積と分布シフトを比較すること。
• エッジデプロイドモデルにおけるトレーニング後量子化の耐障害性を向上させるための知見を提供すること。

提案手法

• MobileNet-V1および小型のDWSCNN（DWS-ConvNets）を対象に、一連の体系的アブレーションスタディを実施し、通常のCNNと比較した。
• CIFAR-10およびImageNetで一貫したトレーニング手順を用いてモデルを学習させ、量子化効果を隔離した。
• 量子化前後における重みおよび活性化分布のレイヤー単位の分析を実施し、動的レンジの変動と分布不一致に焦点を当てた。
• 推論中にレイヤーごとにQMSE、QCE、QKL-Divergenceを用いて量子化誤差の蓄積を定量化した。
• BNフォールドされた重みおよび活性化を分析し、量子化下での分布ダイナミクスを評価した。
• 複数回の量子化試行と2000枚の画像のログ記録を実施し、分布指標の統計的信頼性を確保した。

Figure 1: Layerwise average precison (see Eq. 2 ) of trained weights in the DWS-Convnets. Low average precision at depthwise-conv layers indicate a mismatch between each individual channel’s dynamic range and the entire tensor’s range. The resulting distributional dynamics lead to significantly high

実験結果

リサーチクエスチョン

• RQ1 なぜMobileNetsのようなDWSCNNは、通常のCNNと比較してトレーニング後量子化において顕著に精度低下を示すのか？
• RQ2 MobileNetの劣悪な量子化性能は、深度分離畳み込みに固有のものか、アーキテクチャ設計の選択によるものか？
• RQ3 チャネル単位とレイヤー単位の分布間で生じる動的レンジの変動と分布不一致は、DWSCNNにおける量子化誤差蓄積にどのように影響するか？
• RQ4 前方伝搬中に、DWSCNNと通常のCNNの間で、量子化誤差指標（QMSE、QCE、QKL-Div）の差はどの程度異なるか？
• RQ5 多スケールの分布ダイナミクスは、量子化されたDWSCNNにおける観察された分布シフトと誤差伝搬を説明できるか？

主な発見

• DWSCNNは、特にディープワイドコンボリューション層において、通常のCNNと比較して顕著に大きな動的レンジの変動を示す。
• DWSCNNでは、チャネル単位とレイヤー単位の分布間に顕著な分布不一致が存在し、これが量子化誤差の蓄積を増大させている。
• ImageNet上でMobileNet-V1を用いた実験では、トレーニング後量子化によって15.6%の劇的な精度低下が発生し、QMSEおよびQKL-Divの値がVGG-19と比べて著しく高いことが判明した。
• レイヤー単位のQMSE、QCE、QKL-Divは、DWSCNNにおいて通常のCNNと比較して一貫して高く、量子化誤差の蓄積と分布シフトの増大を示している。
• 量子化挙動のばらつきは、DWSCNNにおいてランダムな重み初期化により敏感であることが示され、学習済み分布の不安定性を示唆している。
• 結果から、チャネル単位の量子化や分布不一致を低減する手法が、DWSCNNにおける量子化耐障害性の向上に顕著に寄与することが示唆された。

Figure 2: Comparing layerwise QMSE of Regular-ConvNets (left), DWS-ConvNets (center), and MobileNets-V1 (right). We are able to see how depthwise separable convolutional networks accumulate much more QMSE on average when traversing through a quantized DWSCNN. Note : Some outliers were removed from t