[論文レビュー] A White Paper on Neural Network Quantization

Markus Nagel, Marios Fournarakis+4 more|arXiv (Cornell University)|Jun 15, 2021

Advanced Neural Network Applications参考文献 29被引用数 13

ひとこと要約

このホワイトペーパーは、エッジデバイスにおけるニューラルネットワークの推論遅延とエネルギー消費を低減するための最先端のトレーニング後量子化（PTQ）および量子化に配慮したトレーニング（QAT）パイプラインを提示する。周波数に応じた量子化、範囲学習、バッチ正規化の畳み込みといった高度な量子化技術を活用することで、8ビット量子化においてほぼ精度に近い性能を達成し、さまざまなコンピュータビジョンおよびNLPモデルにおける4ビット重みと活性化の競争力ある結果を実現している。

ABSTRACT

While neural networks have advanced the frontiers in many applications, they often come at a high computational cost. Reducing the power and latency of neural network inference is key if we want to integrate modern networks into edge devices with strict power and compute requirements. Neural network quantization is one of the most effective ways of achieving these savings but the additional noise it induces can lead to accuracy degradation. In this white paper, we introduce state-of-the-art algorithms for mitigating the impact of quantization noise on the network's performance while maintaining low-bit weights and activations. We start with a hardware motivated introduction to quantization and then consider two main classes of algorithms: Post-Training Quantization (PTQ) and Quantization-Aware-Training (QAT). PTQ requires no re-training or labelled data and is thus a lightweight push-button approach to quantization. In most cases, PTQ is sufficient for achieving 8-bit quantization with close to floating-point accuracy. QAT requires fine-tuning and access to labeled training data but enables lower bit quantization with competitive results. For both solutions, we provide tested pipelines based on existing literature and extensive experimentation that lead to state-of-the-art performance for common deep learning models and tasks.

研究の動機と目的

• 厳しい電力制限と計算制限を伴うエッジデバイスにおける、エネルギー効率が高く低遅延なニューラルネットワーク推論の増大するニーズに対応する。
• 重みと活性化を低ビット幅（例：4ビットまたは8ビット）に低減することで生じる量子化ノイズによる精度の低下を軽減する。
• 最小限のエンジニアリング作業で実現可能で、再現性があり、最先端のパフォーマンスを発揮するPTQおよびQATの実用的で包括的なパイプラインを提供する。
• 新しいモデルを量子化する際の一般的な問題を系統的に診断・解決するためのデバッグワークフローを導入する。
• 現代の量子化技術が、畳み込み型およびトランスフォーマー型の両方のモデルにおいて、4ビット精度で高精度の推論を可能にすることを実証する。

提案手法

• 固定小数点アクセラレータと乗算累積（MAC）演算をコア演算ユニットとして焦点を当てた、ハードウェアに起因する量子化フレームワークを提案する。
• 対称および非対称の量子化方式を用いたPTQパイプラインを実装し、トーナルおよびチャネルごとの重み量子化、および小規模なデータサブセットを用いたキャリブレーションによる動的範囲推定を実施する。
• 学習中に量子化ノイズをシミュレートする微分可能な量子化演算子を用いたQATを導入し、ネットワークが低精度表現に対する耐性を学習できるようにする。
• より複雑な動的畳み込み手法よりも優れた性能を示す、単純で静的な方法を用いてQATにおけるバッチ正規化の畳み込みを実装する。
• QATにおける範囲学習を活用し、活性化の量子化範囲を適応的に調整することで、高ダイナミックレンジの活性化に対してパフォーマンスを向上させる。
• これらの技術を統合した標準化され、テスト済みのパイプラインを設計し、ImageNet、COCO、Pascal VOC、GLUEベンチマークを含む多数のモデルとタスクで検証した。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを伴わずに、さまざまなディープラーニングモデルにおいて、重みと活性化の8ビット量子化でほぼ精度に近い性能をPTQが達成できるか？
• RQ2 範囲学習とバッチ正規化の畳み込みを組み合わせたQATは、精度を保持しつつ、極めて厳しい4ビット量子化を実現できるか？
• RQ3 新しいモデルを量子化する際の主な失敗モードは何か？ そして、それらを体系的に診断・解決する方法は？
• RQ4 チャネルごと量子化とトーナル量子化、および異なる量子化方式が、低ビットネットワークにおける精度に与える影響は？
• RQ5 トランスフォーマー型モデル（例：BERT）は、QATを用いて極端な量子化（例：W4A4）においてどれほど高いパフォーマンスを維持できるか？

主な発見

• 提案されたPTQパイプラインは、すべての評価対象モデル（ResNet18、ResNet50、MobileNetV2を含む）において、FP32と比較して8ビット量子化で1%未満の精度低下を達成した。
• 4ビット重み量子化においては、PTQが大多数のモデルでFP32精度の1.5%以内を維持し、EfficientDet-D1では2.5%の低下にとどまったが、依然として挑戦的である。
• 範囲学習を用いたQATにより、BERT-baseでは4ビット活性化量子化でもFP32と比較して1%以内の精度低下に抑えられ、GLUEベンチマークではW4A8でわずか0.4%の低下にとどまった。
• 静的バッチ正規化畳み込みを用いたQATパイプラインは、より複雑な動的手法を上回り、特に深く複雑なアーキテクチャにおいて精度を維持する点で優れた性能を示した。
• QATにおけるチャネルごとの量子化と範囲学習の組み合わせにより、高ダイナミックレンジの活性化に対して精度低下が軽減され、BERT や EfficientDet-D1 などのモデルで顕著に効果を発揮した。
• EfficientDet-D1 では、W4A4 量子化により15.38%の精度低下（mAP 40.08 から 24.70 に低下）を示したが、これはオブジェクト検出モデルにおける低ビット量子化の難易度を強調するものである。