[論文レビュー] Towards Efficient Training for Neural Network Quantization

Qing Jin, Linjie Yang+1 more|arXiv (Cornell University)|Dec 21, 2019

Advanced Neural Network Applications参考文献 56被引用数 33

ひとこと要約

この論文はスケール調整トレーニング（SAT）と勾配補正されたPACT（CG-PACT）を導入し、効率的で高精度な量子化ニューラルネットワークを実現し、MobileNetとPreResNet-50で最新の結果を達成する。

ABSTRACT

Quantization reduces computation costs of neural networks but suffers from performance degeneration. Is this accuracy drop due to the reduced capacity, or inefficient training during the quantization procedure? After looking into the gradient propagation process of neural networks by viewing the weights and intermediate activations as random variables, we discover two critical rules for efficient training. Recent quantization approaches violates the two rules and results in degenerated convergence. To deal with this problem, we propose a simple yet effective technique, named scale-adjusted training (SAT), to comply with the discovered rules and facilitates efficient training. We also analyze the quantization error introduced in calculating the gradient in the popular parameterized clipping activation (PACT) technique. Through SAT together with gradient-calibrated PACT, quantized models obtain comparable or even better performance than their full-precision counterparts, achieving state-of-the-art accuracy with consistent improvement over previous quantization methods on a wide spectrum of models including MobileNet-V1/V2 and PreResNet-50.

研究の動機と目的

• 量子化による精度低下が容量の低下によるものか、量子化時のトレーニング手順によるものかを分析する。
• 量子化ネットワークにおける勾配伝搬を検討して、効率的なトレーニングの規則を導出する。
• 量子化下でトレーニングダイナミクスを保持するためにSATを提案する。
• 活性化量子化における勾配誤差を補正するためのgradient-calibrated PACT (CG-PACT) を検討する。
• 量子化下で ImageNet 上の MobileNet-V1/V2 および PreResNet-50 で最先端の性能を実証する。

提案手法

• 畳み込み／線形層における有効重みを用いた勾配伝搬を分析して、2つの効率的トレーニング規則（ETR I および ETR II）を導出する。
• クランプと量子化後の重み分散を適切に保つために、scale-adjusted training (SAT) を提案する。
• トレーニングダイナミクスを保持するために、重みのクランピングとSATを用いたDoReFaウェイト量子化を評価する。
• PACT活性化量子化器に対する勾配計算を補正するCG-PACTを導入する。
• SATとCG-PACTを組み合わせ、ImageNet上のMobileNet-V1/V2およびPreResNet-50でベンチマークを実施し、以前の量子化手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 量子化ネットワークにおける精度低下は、主に容量低下によるものか、それとも量子化中のトレーニングの非効率性によるものか？
• RQ2 量子化ネットワークの収束し効率的なトレーニングを保証するために必要な規則は何か？
• RQ3 重みがクランプまたは量子化された場合にSATは効率的なトレーニングを回復できるか？
• RQ4 PACTにおける活性化勾配を補正する CG-PACT は低精度トレーニングを改善するか？
• RQ5 SATとCG-PACTはImageNetの人気アーキテクチャ全体で最先端の結果をもたらすか？

主な発見

• SATはクランピングと量子化後にも適切な範囲で重み分散を維持することで、効率的なトレーニングを維持するのに役立つ。
• SATを用いた量子化モデルはMobileNet-V1/V2およびPreResNet-50で、フル精度の対称モデルと同等か、それを上回る性能を達成できる。
• CG-PACTはPACTクリッピングパラメータに対する勾配をキャリブレーションすることで、低精度時のトレーニングを改善する。
• SATとCG-PACTを組み合わせることで、複数のモデルにおいて量子化下の最先端精度を達成する。
• 量子化は有益な正則化として作用することがあり、活性化量子化（activation quantization）はいくつかの設定で一般化を向上させることがある。