[論文レビュー] Learnable Companding Quantization for Accurate Low-bit Neural Networks

Kohei Yamamoto|arXiv (Cornell University)|Mar 12, 2021

Advanced Neural Network Applications参考文献 28被引用数 4

ひとこと要約

本稿では、2-, 3-, 4ビットニューラルネットワークにおける量子化誤差を最小化するために、学習可能なコンパンド関数とクリッピングパラメータを共同最適化する、新しい非一様量子化手法である学習可能コンパンド量子化（LCQ）を提案する。LCQは、2ビットのResNet-50がImageNetで75.1%のトップ1精度を達成し、フルプレシジョンモデルと比較して精度ギャップをわずか1.7%にまで縮小することで、最先端の精度を達成した。

ABSTRACT

Quantizing deep neural networks is an effective method for reducing memory consumption and improving inference speed, and is thus useful for implementation in resource-constrained devices. However, it is still hard for extremely low-bit models to achieve accuracy comparable with that of full-precision models. To address this issue, we propose learnable companding quantization (LCQ) as a novel non-uniform quantization method for 2-, 3-, and 4-bit models. LCQ jointly optimizes model weights and learnable companding functions that can flexibly and non-uniformly control the quantization levels of weights and activations. We also present a new weight normalization technique that allows more stable training for quantization. Experimental results show that LCQ outperforms conventional state-of-the-art methods and narrows the gap between quantized and full-precision models for image classification and object detection tasks. Notably, the 2-bit ResNet-50 model on ImageNet achieves top-1 accuracy of 75.1% and reduces the gap to 1.7%, allowing LCQ to further exploit the potential of non-uniform quantization.

研究の動機と目的

• フルプレシジョンモデルと比較して顕著な精度低下を示す極めて低ビット（2-, 3-, 4ビット）ニューラルネットワークの問題に対処すること。
• 学習可能なコンパンド関数を用いて柔軟で非一様な量子化レベル制御を可能にすることで、量子化精度を向上させること。
• 新しい重み正規化技術を用いて、量子化ネットワークの学習を安定化させること。
• パフォーマンスに損なわれることなく、メモリオーバーヘッドを低減するため、ルックアップテーブル（LUT）のサイズを最適化すること。

提案手法

• LCQは、重みおよび活性化値を非線形的に圧縮・拡張することで非一様量子化を可能にする、学習可能な区分線形コンパンド関数を定式化する。
• コンパンド関数は、ストレートスルー推定器（STE）を用いたバックプロパゲーションにより、クリッピングしきい値およびネットワーク重みと共同最適化される。
• 量子化重みの標準偏差を回復させることで、学習の安定性と精度を向上させる、新しい正規化技術、制限付き重み正規化（LWN）を導入する。
• 再量子化技術を用いて、ルックアップテーブル（LUT）の外側ビット幅を縮小し、効率的な推論のためのメモリコストを最小化する。
• コンパンド関数は、学習可能なパラメータΘでパラメータ化されており、データ分布に基づいた柔軟で適応的な量子化レベル分布を可能にする。
• クリッピング、圧縮、丸め、拡張の複合関数を統合し、非線形圧縮および拡張部は共同で学習される。

実験結果

リサーチクエスチョン

• RQ1 学習可能な非一様量子化は、画像分類およびオブジェクト検出において、低ビットモデルとフルプレシジョンモデルの間の精度ギャップを顕著に縮小できるか？
• RQ2 学習可能なコンパンド関数における区間数の増加が、低ビットネットワークのパフォーマンスに与える影響は何か？
• RQ3 制限付き重み正規化（LWN）は、量子化ネットワークにおける学習の安定性と精度をどの程度向上させるか？
• RQ4 ルックアップテーブル（LUT）の外側ビット幅を短縮することで、推論のためのメモリオーバーヘッドを低減しながらも、高いモデル精度を維持できるか？
• RQ5 多様なアーキテクチャおよびデータセットにおいて、LCQは従来の均一および非均一量子化手法と比較して、精度と効率の両面で優れているか？

主な発見

• ImageNet上での2ビットのResNet-50モデルは、トップ1精度75.1%を達成し、フルプレシジョンモデルと比較して精度ギャップをわずか1.7%にまで縮小した。
• CIFAR-10/100、ImageNet、COCOデータセットにおいて、画像分類およびオブジェクト検出の両タスクで、LCQは最先端の手法を上回った。
• コンパンド関数の区間数を増やすことで精度が向上し、特に低ビット幅において顕著であった。これは、柔軟性とパフォーマンスの強い相関関係を示している。
• 制限付き重み正規化（LWN）は、2ビット量子化において顕著な精度向上をもたらし、3〜4ビットレベルでもわずかな向上をもたらし、学習の安定性を向上させた。
• LUTの外側ビット幅を8ビットから4ビットに短縮することで、CIFAR-10およびImageNetの両方で精度低下が0.2%以内に抑えられ、LUTのメモリコストは半減した。
• COCOオブジェクト検出において、LCQは非均一手法APoTと同等またはより高い平均平均精度（AP）を達成し、タスク間での優れた一般化能力を示した。