[論文レビュー] Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection

Tianshu Chu, Qin Luo+2 more|arXiv (Cornell University)|Dec 29, 2019

Advanced Neural Network Applications参考文献 35被引用数 5

ひとこと要約

本論文では、深層層でより低い精度（1ビットまで）を、浅層層でより高い精度（8ビットまで）を用いる段階的かつ減少するビット幅を持つ混合精度量子化ニューラルネットワークを提案する。深層層の量子化に対する感受性が低下することを活用することで、均一な量子化と比較してモデルサイズを30％以上削減しながら、画像分類およびオブジェクト検出ベンチマークで精度を維持または向上させた。

ABSTRACT

Efficient model inference is an important and practical issue in the deployment of deep neural network on resource constraint platforms. Network quantization addresses this problem effectively by leveraging low-bit representation and arithmetic that could be conducted on dedicated embedded systems. In the previous works, the parameter bitwidth is set homogeneously and there is a trade-off between superior performance and aggressive compression. Actually the stacked network layers, which are generally regarded as hierarchical feature extractors, contribute diversely to the overall performance. For a well-trained neural network, the feature distributions of different categories differentiate gradually as the network propagates forward. Hence the capability requirement on the subsequent feature extractors is reduced. It indicates that the neurons in posterior layers could be assigned with lower bitwidth for quantized neural networks. Based on this observation, a simple but effective mixed-precision quantized neural network with progressively ecreasing bitwidth is proposed to improve the trade-off between accuracy and compression. Extensive experiments on typical network architectures and benchmark datasets demonstrate that the proposed method could achieve better or comparable results while reducing the memory space for quantized parameters by more than 30\% in comparison with the homogeneous counterparts. In addition, the results also demonstrate that the higher-precision bottom layers could boost the 1-bit network performance appreciably due to a better preservation of the original image information while the lower-precision posterior layers contribute to the regularization of $k-$bit networks.

研究の動機と目的

• リソース制約のあるデバイスにおける量子化ニューラルネットワークのモデル圧縮と精度のトレードオフを解消すること。
• 層ごとの特徴分布とネットワークの深さに基づいてビット幅を割り当てる、均一な量子化の改善。
• メモリと計算量の削減により、エッジデバイスへの深層ネットワークの効率的デプロイを可能にすること。
• 画像分類およびオブジェクト検出を含む多様なアーキテクチャとタスクにおいて、段階的ビット幅減少の有効性を検証すること。

提案手法

• 本手法は、初期層で8ビットまたは4ビットから始め、最終層で1ビットへと段階的にビット幅を低減する。
• 深層層がより分離可能な特徴を抽出するため、量子化に対して感受性が低いという観察を活用する。
• 高精度のボトム層が元の画像情報の保持を担い、低精度のトップ層がkビットネットワークにおける正則化に寄与する。
• VGG、AlexNet、ResNet-18/20、およびSSDに本フレームワークを適用し、標準的な最適化（Adam/SGD）と量子化感知学習を用いたエンドツーエンド学習を実施。
• 層の深さと特徴分布の傾向に基づき、アーキテクチャごとに手動でビット幅スケジューリングを設計する。
• パラメータのストレージサイズを削減することでモデル圧縮を達成し、固定小数点演算により推論を高速化する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク層にわたり段階的に減少するビット幅が、量子化ニューラルネットワークにおける精度-圧縮トレードオフを改善できるか？
• RQ2 学習済みネットワークの深層層は、より分離可能な特徴表現を持つため、量子化に対して感受性が低下するか？
• RQ3 高精度のボトム層が入力レベルの情報を保持することで、1ビットネットワークの性能向上に寄与するか？
• RQ4 減少するビット幅を持つ混合精度量子化は、均一なkビット量子化と比較して、精度およびモデルサイズの面で優れているか？

主な発見

• 提案された混合精度QNNは、均一な量子化と比較して、パラメータのメモリ使用量を30％以上削減しながら、精度を維持または向上させた。
• CIFAR-100では、8-4-2-1-1-1の混合精度ResNet-20が1.06 MBのパラメータサイズで71.53％のTop-1精度を達成し、均一な1ビットおよび2ビットベースラインを上回った。
• ImageNetでは、混合精度ResNet-18が1.42 MBのモデルサイズで65.03％のTop-1精度を達成し、均一な2ビットベースライン（64.40％）および1ビット手法を上回った。
• Pascal VOCでは、混合精度SSDが62.21％のmAPを達成し、均一な2ビットDorefaベースライン（60.66％）を上回り、低精度でも基本的な検出能力を示した。
• 学習曲線から安定した収束が確認され、段階的ビット幅戦略が標準的な学習手順と互換性があることが示された。
• 高精度の初期層が、特に1ビット設定において低精度ネットワークの性能を顕著に向上させることを実証した。