[論文レビュー] Additive Powers-of-Two Quantization: An Efficient Non-uniform Discretization for Neural Networks

Yuhang Li, Xin Dong+1 more|arXiv (Cornell University)|Sep 28, 2019

Neural Networks and Applications参考文献 25被引用数 120

ひとこと要約

この論文は APoT を紹介します。非均一量子化で、量子化レベルは Powers-of-Two の項の和と組み合わせられた再パラメータ化クリッピング関数と重み正規化を用い、重みと活性化の量子化において競争力のある精度を達成しつつ、ハードウェア効率を顕著に高めます。

ABSTRACT

We propose Additive Powers-of-Two~(APoT) quantization, an efficient non-uniform quantization scheme for the bell-shaped and long-tailed distribution of weights and activations in neural networks. By constraining all quantization levels as the sum of Powers-of-Two terms, APoT quantization enjoys high computational efficiency and a good match with the distribution of weights. A simple reparameterization of the clipping function is applied to generate a better-defined gradient for learning the clipping threshold. Moreover, weight normalization is presented to refine the distribution of weights to make the training more stable and consistent. Experimental results show that our proposed method outperforms state-of-the-art methods, and is even competitive with the full-precision models, demonstrating the effectiveness of our proposed APoT quantization. For example, our 4-bit quantized ResNet-50 on ImageNet achieves 76.6% top-1 accuracy without bells and whistles; meanwhile, our model reduces 22% computational cost compared with the uniformly quantized counterpart. The code is available at https://github.com/yhhhli/APoT_Quantization.

研究の動機と目的

• 重み/活性化の分布（ベル型で長尾を持つ）と一様量子化との不一致を解消する。
• レベルを powers-of-two の項の和として表現することで、ハードウェアに適した非均一量子化を開発する。
• 訓練の安定性とクリッピング閾値の学習を向上させるための再パラメータ化クリッピング関数（RCF）を用いる。
• 量子化前の重み正規化により訓練を安定化させ、収束を改善する。
• 計算量を削減しつつ、ImageNetとCIFAR-10で最先端または競争力のある精度を示す。

提案手法

• 各量子化レベルを複数の Powers-of-Two の項の和として定義し、非均一でありながらハードウェアに優しいレベルを実現する APoT 量子化を定義する。
• 基数ビット幅 k と加算項数 n（b = kn）を用いて、PoT 項の和で 2^b レベルを生成する。
• 訓練中のクリッピング閾値 α に対して、より正確な勾配を提供する Reparameterized Clipping Function (RCF) を提案する。
• 量子化前に分布と訓練を安定させるため、重み正規化（平均ゼロ、分散1）を適用する。
• RCF を用いて有意な勾配を伝搬させるよう、投影のための STE を備えた SGD によってクリッピング閾値 α を最適化する。
• APoT で重みと活性化の両方を量子化し、シフト加算乗算を高速化し、uniform quantization に比べて約 2 倍の高速化を実現する。

実験結果

リサーチクエスチョン

• RQ1 標準的な CNN において APoT 量子化は一様量子化/PoT 量子化の精度と同等またはそれを上回ることができるか？
• RQ2 RCF はストレート・スルー推定よりもクリッピング閾値の勾配信号としてより有益か？
• RQ3 重み正規化は APoT 量子化ネットワークの訓練安定性と最終性能を改善するか？
• RQ4 ImageNet と CIFAR-10 で精度を維持しつつ、APoT はどの程度計算コストを削減できるか？

主な発見

• ImageNet の 4-bit ResNet-50 は、計算コストを削減して 76.6% Top-1 精度を達成（約22%低いのは一様量子化比）。
• APoT は ImageNet および CIFAR-10 で最先端または競争力のある精度を達成または上回る。
• APoT は PoT 成分のシフト加算演算により、約 2x の高速な乗算を実現する。
• APoT、Reparameterized Clipping Function、Weight Normalization の組み合わせは安定した訓練と堅牢な量子化性能を提供する。
• ImageNet での 5-bit APoT 量子化は、アブレーション結果の特定の構成でいくつかの全結合前提精度を上回る。
• アブレーション研究では、Weight Normalization を除去するか非 APoT 量子化器を使用すると、特に低ビット幅で精度が低下することが示された。