[論文レビュー] Optimal Clipping and Magnitude-aware Differentiation for Improved Quantization-aware Training

Charbel Sakr, Steve Dai+4 more|arXiv (Cornell University)|Jun 13, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

本稿では、量子化に伴うトレーニング（QAT）中にリアルタイムでMSE最適なクリッピングスケールを計算する再帰的ニュートン・ラプソン法に基づくOCTAVを提案する。これにより、各イテレーションでテンソルごとに量子化ノイズを最小化する。さらに、活性化の大きさに応じた勾配推定を改善するマグニチュード認識勾配設計を導入し、ResNets、MobileNets、ImageNetおよびBERTの微調整において4〜6ビットの低精度トレーニングで最先端の精度を達成。トレーニングレシピの変更は、量子化演算を適切なレイヤーに挿入するのみで、それ以上の変更は不要である。

ABSTRACT

Data clipping is crucial in reducing noise in quantization operations and improving the achievable accuracy of quantization-aware training (QAT). Current practices rely on heuristics to set clipping threshold scalars and cannot be shown to be optimal. We propose Optimally Clipped Tensors And Vectors (OCTAV), a recursive algorithm to determine MSE-optimal clipping scalars. Derived from the fast Newton-Raphson method, OCTAV finds optimal clipping scalars on the fly, for every tensor, at every iteration of the QAT routine. Thus, the QAT algorithm is formulated with provably minimum quantization noise at each step. In addition, we reveal limitations in common gradient estimation techniques in QAT and propose magnitude-aware differentiation as a remedy to further improve accuracy. Experimentally, OCTAV-enabled QAT achieves state-of-the-art accuracy on multiple tasks. These include training-from-scratch and retraining ResNets and MobileNets on ImageNet, and Squad fine-tuning using BERT models, where OCTAV-enabled QAT consistently preserves accuracy at low precision (4-to-6-bits). Our results require no modifications to the baseline training recipe, except for the insertion of quantization operations where appropriate.

研究の動機と目的

• 既存のQAT手法におけるヒューリスティックなクリッピング閾値がもたらす非最適な量子化ノイズを解消すること。
• ハイパーパramータチューニングに依存しないように、トレーニング中にリアルタイムでMSE最適なクリッピングスケールを動的に計算可能にする。
• 標準的なクリッピング勾配手法の限界を是正することで、QATにおける勾配推定を改善すること。
• ベースラインのトレーニングレシピを変更せずに、低精度DNNトレーニングで最先端の精度を達成すること。
• 動的および静的量子化の両方の環境に適用可能な汎用的で効率的かつ再現性のある低精度DNNトレーニング手法を提供すること。

提案手法

• OCTAVは、各QATイテレーションにおいて、テンソルごとにMSE最適なクリッピングスケールを高速なニュートン・ラプソン法で再帰的に計算する。
• アルゴリズムは、量子化ノイズを最小化するクリッピング閾値を動的に決定し、各ステップで証明可能な最適性能を保証する。
• マグニチュード認識勾配設計は、活性化の大きさに応じて勾配を重み付けすることで、標準的な勾配推定器に生じるバイアスを是正する。
• 量子化演算を適切なレイヤーに挿入することで、標準的なQATパイプラインに統合され、トレーニングレシピの変更は不要である。
• 静的量子化の場合、OCTAVはトレーニング前のキャリブレーション段階で最適なクリッピングスケールを一度だけ計算する。
• 本手法は、複数のモデル（ResNets、MobileNets、BERT）とタスク（トレーニングからスクラッチ、再トレーニング、微調整）を対象とし、4〜8ビットの精度で評価された。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティクスやハイパーパramータチューニングに依存せずに、QATにおける量子化ノイズを最小化するクリッピングスケールを計算可能か？
• RQ2 OCTAVによる最適クリッピングは、パcentileベースやMSEスイープといった既存のキャリブレーション戦略と比べて、精度と効率の面でどのように差がつくか？
• RQ3 クリッピングQATにおける標準的勾配推定の限界は何か？マグニチュード認識勾配設計によって是正可能か？
• RQ4 微調整のようなテンソル統計が時間的に変化する状況では、動的OCTAVが静的量子化戦略を上回るか？
• RQ5 OCTAVは動的および静的量子化の両方の環境に効果的に適用可能で、精度を維持または向上できるか？

主な発見

• OCTAVを搭載したQATは、ResNet-50およびMobileNet-V2のImageNetにおいて最先端の精度を達成し、4ビットモデルでは動的量子化でトップ-1精度87.09%を達成した。
• BERT-baseの微調整では、6ビットで1%以内の精度低下、4ビットで約4%の精度低下を記録し、他のすべての手法を上回った。
• 静的OCTAVキャリブレーションは、MSEスイープより4ビットで約1.5%高い精度を達成し、非凸な量子化MSEのランドスケープをより効果的に扱えたためである。
• CPU上でのOCTAVキャリブレーション処理は、MSEスイープの約10倍速く、大規模モデルにおいて実用的である。
• マグニチュード認識勾配設計は、特に低精度領域において勾配推定を顕著に改善し、収束性と精度の向上に寄与した。
• OCTAVはトレーニングレシピの変更なしに最適な性能を達成でき、適切なレイヤーに量子化演算を挿入するだけで実現した。