[論文レビュー] Nonuniform-to-Uniform Quantization: Towards Accurate Quantization via Generalized Straight-Through Estimation

Zechun Liu, Kwang‐Ting Cheng+3 more|arXiv (Cornell University)|Nov 29, 2021

Advanced Neural Network Applications参考文献 32被引用数 6

ひとこと要約

本稿では、非一様な入力しきい値を学習可能な柔軟な手法を用いて、均等な量子化を実現する新規量子化手法 Nonuniform-to-Uniform Quantization (N2UQ) を提案する。この手法により、非一様量子化に匹敵する高い精度を達成しながらも、ハードウェア効率を維持できる。また、勾配の逆伝播をしきい値を通り抜けるための Generalized Straight-Through Estimator (G-STE) を導入し、エントロピー保存型正則化を適用することで、ImageNet における 2 ビット ResNet-50 で 69.7% のトップ1精度を達成。これは、フル精度モデルと比較してわずか 0.6% の差にとどまる。

ABSTRACT

The nonuniform quantization strategy for compressing neural networks usually achieves better performance than its counterpart, i.e., uniform strategy, due to its superior representational capacity. However, many nonuniform quantization methods overlook the complicated projection process in implementing the nonuniformly quantized weights/activations, which incurs non-negligible time and space overhead in hardware deployment. In this study, we propose Nonuniform-to-Uniform Quantization (N2UQ), a method that can maintain the strong representation ability of nonuniform methods while being hardware-friendly and efficient as the uniform quantization for model inference. We achieve this through learning the flexible in-equidistant input thresholds to better fit the underlying distribution while quantizing these real-valued inputs into equidistant output levels. To train the quantized network with learnable input thresholds, we introduce a generalized straight-through estimator (G-STE) for intractable backward derivative calculation w.r.t. threshold parameters. Additionally, we consider entropy preserving regularization to further reduce information loss in weight quantization. Even under this adverse constraint of imposing uniformly quantized weights and activations, our N2UQ outperforms state-of-the-art nonuniform quantization methods by 0.5~1.7 on ImageNet, demonstrating the contribution of N2UQ design. Code and models are available at: https://github.com/liuzechun/Nonuniform-to-Uniform-Quantization.

研究の動機と目的

• 非一様量子化と均等量子化の性能差を埋めるために、出力レベルは均等である一方で、入力しきい値を柔軟に学習可能な手法を提供すること。
• 均等量子化器における非一様な入力しきい値の学習に起因する勾配の計算不能問題を解決すること。
• 重みの量子化における情報損失を低減し、量子化誤差を抑えるためにエントロピー保存型正則化を導入すること。
• 非均等出力の後処理を回避することで、ハードウェア効率を維持し、直接ビット単位の演算を可能にすること。

提案手法

• 非一様な入力しきい値を学習可能にしつつも、等間隔の出力レベルを生成する Nonuniform-to-Uniform Quantizer (N2UQ) を提案する。
• 確率的量子化に基づいて導出された Generalized Straight-Through Estimator (G-STE) を導入し、非一様なしきい値を通り抜ける勾配の流れを可能にする。
• しきい値パラメータの勾配が計算不能である問題に対処するため、G-STE で期待値に基づく逆伝播近似を採用する。
• 重みの分布に適応することで、重みの量子化中に生じる情報損失を最小化するエントロピー保存型正則化を適用する。
• 学習済みしきい値に基づいて、実数値の入力を均等な出力レベルにマッピングする微分可能な量子化関数を採用する。
• G-STE と正則化を用いて、バックプロパゲーションによりエンドツーエンドでネットワーク全体を訓練し、しきい値と重みの同時最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非一様量子化の表現力を持つ一方で、均等量子化と同様にハードウェアに優しい量子化手法は実現可能か？
• RQ2 均等量子化フレームワーク内において、学習可能な非一様な入力しきい値を経由する勾配を効果的に逆伝播できるか？
• RQ3 低ビットの重み量子化において、情報損失を最小化する最良の正則化戦略は何か？
• RQ4 学習可能なしきい値とエントロピーに配慮した正則化を統合した統一的な訓練フレームワークは、既存の非一様量子化手法を上回る性能を発揮できるか？

主な発見

• 2 ビットで量子化された N2UQ を用いた ResNet-18 は、ImageNet で 69.7% のトップ1精度を達成し、フル精度モデルと比較して性能差をわずか 2.1% にまで縮小した。
• 2 ビットの N2UQ を用いた ResNet-50 は、トップ1精度が 67.1% に達し、フル精度モデルと比較してわずか 0.6% の差にとどまった。
• 提案された G-STE 法により、非一様な入力しきい値の学習が効果的に可能となり、ベースラインの均等量子化手法と比較して精度が 3.0% 向上した。
• エントロピー保存型重み正則化により、ベースラインと比較して精度が 1.9% 向上し、重みノルムや学習可能なスケーリング係数のベースラインを上回った。
• アブレーションスタディの結果、しきい値の学習とエントロピー正則化の両方が不可欠であることが確認され、併用することで最高の性能が得られた。
• 学習済みしきい値はデータ分布に適応し、密度の高い領域では小さな区間、スパarsな尾部では大きな区間を形成することで、量子化誤差を低減した。