[論文レビュー] Trained Quantization Thresholds for Accurate and Efficient Fixed-Point Inference of Deep Neural Networks

Sambhav R. Jain, Albert Gural+2 more|arXiv (Cornell University)|Mar 19, 2019

Advanced Neural Network Applications参考文献 32被引用数 55

ひとこと要約

本論文は Trained Quantization Thresholds (TQT) を提案し、再訓練中にバックプロパゲーションで量子化閾値を学習する方法を提示する。パワー・オブ・2、各テンソル、対称の固定小数点制約の下で、8ビットはほぼ浮動小数点精度を達成し、4ビットのネットワークではFP精度に近い精度を達成する。さらに、Graffitist という TensorFlow ベースの自動量子化と再訓練のフレームワークを提供する。

ABSTRACT

We propose a method of training quantization thresholds (TQT) for uniform symmetric quantizers using standard backpropagation and gradient descent. Contrary to prior work, we show that a careful analysis of the straight-through estimator for threshold gradients allows for a natural range-precision trade-off leading to better optima. Our quantizers are constrained to use power-of-2 scale-factors and per-tensor scaling of weights and activations to make it amenable for hardware implementations. We present analytical support for the general robustness of our methods and empirically validate them on various CNNs for ImageNet classification. We are able to achieve near-floating-point accuracy on traditionally difficult networks such as MobileNets with less than 5 epochs of quantized (8-bit) retraining. Finally, we present Graffitist, a framework that enables automatic quantization of TensorFlow graphs for TQT (available at https://github.com/Xilinx/graffitist ).

研究の動機と目的

• 閾値と重みを共同で学習させ、ロバストな低精度 DNN 推論を促進する。
• 対数ドメインパラメータ分解を用いてクリッピング閾値を勾配法でトレーニングする手法を開発する。
• 対称・テンソルごと・パワーオブ2のスケール因子でハードウェアに優しい量子化を保証する。
• TensorFlow で自動量子化と再訓練を実現するエンドツーエンドのフレームワーク（Graffitist）を提供する。
• 制限された再訓練エポックでも挑戦的なモデル（例: MobileNets）でほぼ浮動小数点精度を示すことをデモンストレーションする。

提案手法

• スケール s と閾値 t を用いた対称的線形量子化器を定義し、s = 2^(-f) かつ f は整数とする。
• 範囲と精度のバランスを取りながらバックプロパゲーションによって閾値を対数ドメインで学習する。
• 入力 x およびスケール s に対する STE に基づく勾配を導出し、量子化器を通じて勾配を伝播させ、log2(t) に対する勾配も含める。
• 8ビットおよび4ビットのスキームで、パワーオブ2のスケールに制約されたテンソルごとに量子化を行う。
• グラフィティスト（Graffitist）を導入し、TensorFlow でグラフ変換、量子化、再訓練を自動化し、メモリオーバーヘッドを減らすための結合カーネルを含める。

実験結果

リサーチクエスチョン

• RQ1 量子化の閾値をモデルの重みと同時に学習してエンドツーエンドの損失を最適化できるか。
• RQ2 対数ドメインで閾値パラメータを学習することで量子化再訓練の安定性と収束性は改善されるか。
• RQ3 パワーオブ2・テンソルごと・対称量子化の制約は一般的なCNNの精度にどのように影響するか。
• RQ4 統一フレームワーク（Graffitist）は多様なアーキテクチャで自動量子化と再訓練に有効か。
• RQ5 TQT によって重みのみの再訓練と比較して難易度の高いネットワーク（例: MobileNets）でどの程度の精度向上が得られるか。

主な発見

• TQT は再訓練後、いくつかの CNN で 8-bit 量子化に対してほぼ浮動小数点精度を実現できる。
• TQT は MobileNets のような難しいネットワークで、テンソルごと・対称・パワーオブ2のスケールを用いた場合に FP32 精度と同等の精度を達成できる。
• INT4 の場合は重み+閾値再訓練が必要で、いくつかのネットワークは制約された量子化下で FP32 の性能に近づく。
• 難易度の高いモデルでは、閾値を再訓練することで、重みのみの再訓練より最大約4%程度の絶対精度向上を達成することが多い。
• 静的量子化は、グローバルな損失最適化と一致しづらいため、再訓練ベースのアプローチより一般的に劣る。
• 対数ドメインで訓練された閾値は、直接スケール因子を訓練するよりも安定性と収束性を向上させる。