[論文レビュー] F8Net: Fixed-Point 8-bit Only Multiplication for Network Quantization

Qing Jin, Jian Ren+7 more|arXiv (Cornell University)|Feb 10, 2022

Advanced Neural Network Applications被引用数 21

ひとこと要約

F8Net は 8-bit fixed-point multiplication のみを用いてニューラルネットワークを量子化し、層ごとに fixed-point フォーマットを自動選択し、fixed-point 量子化を PACT と統合して、ImageNet における INT32/float-baseline モデルと比較して競争力のあるまたはそれを上回る精度を実現します。

ABSTRACT

Neural network quantization is a promising compression technique to reduce memory footprint and save energy consumption, potentially leading to real-time inference. However, there is a performance gap between quantized and full-precision models. To reduce it, existing quantization approaches require high-precision INT32 or full-precision multiplication during inference for scaling or dequantization. This introduces a noticeable cost in terms of memory, speed, and required energy. To tackle these issues, we present F8Net, a novel quantization framework consisting of only fixed-point 8-bit multiplication. To derive our method, we first discuss the advantages of fixed-point multiplication with different formats of fixed-point numbers and study the statistical behavior of the associated fixed-point numbers. Second, based on the statistical and algorithmic analysis, we apply different fixed-point formats for weights and activations of different layers. We introduce a novel algorithm to automatically determine the right format for each layer during training. Third, we analyze a previous quantization algorithm -- parameterized clipping activation (PACT) -- and reformulate it using fixed-point arithmetic. Finally, we unify the recently proposed method for quantization fine-tuning and our fixed-point approach to show the potential of our method. We verify F8Net on ImageNet for MobileNet V1/V2 and ResNet18/50. Our approach achieves comparable and better performance, when compared not only to existing quantization techniques with INT32 multiplication or floating-point arithmetic, but also to the full-precision counterparts, achieving state-of-the-art performance.

研究の動機と目的

• 8-bit fixed-point multiplication を quantized モデルの INT32/float の妥当な代替として正当化する。
• fixed-point 表現を分析し、層ごとの小数部長さが量子化誤差に与える影響を特定する。
• fixed-point 量子化を PACT および BN statistics と統一する訓練手法を開発し、推論の効率化を図る。
• 特に残差ブロックで、層間で小数部長さとクリップレベルを共有・決定する方法を提案する。
• ImageNet 上で MobileNet および ResNet アーキテクチャを対象に F8Net を経験的に検証し、既存の量子化手法と比較する。

提案手法

• 固定小数点フォーマットを分析し、8-bit fixed-point 表現の量子化誤差を統計的に特徴付ける。
• 層統計量（ weights/activations の標準偏差）から最適な小数部長さを決定する半経験的な式を導出する。
• パラメータ化クリッピング活性化（PACT）を固定小数点量子化と統一し、固定小数点演算内での学習可能なクリッピングを可能にする。
• 訓練中に決定される層ごとの小数部長さで重み/活性化を量子化し、Conv+BN を融合するために BN running statistics を二重フォワードで適応させる。
• 層間のスケーリング因子を relate/absorbing して量子化の有効重量を計算し、残差ブロック内でマスター/兄弟クリッピングレベルの共有を含めて一貫性を維持しつつ性能を保持する。
• 固定小数点のみの乗算でのパフォーマンスを検証するために、最近の量子化微調整アプローチを統合する。

実験結果

リサーチクエスチョン

• RQ1 8-bit fixed-point 演算は standard CNN に対して INT32 ベースの量子化および浮動小数点ベースのベースラインと同等またはそれ以上の精度を達成できるか。
• RQ2 多様な層と分布にわたり量子化誤差を最小化するために、分数長（層ごとの fixed-point フォーマット）はどう選択すべきか。
• RQ3 PACT の活性化クリッピングを固定小数点演算へ効果的に再定式化して訓練の安定性と精度を向上させられるか。
• RQ4 8-bit fixed-point multiplication を使用する際に、残差ネットワークでの精度を最もよく維持する戦略（例：BN 融合、分数長の共有）は何か。
• RQ5 層ごとに自動的に決定されるフォーマットは、ImageNet 上で MobileNet および ResNet ファミリーで競争力のある結果を可能にするか。

主な発見

• F8Net は MobileNet V1/V2 および ResNet18/50 に対する ImageNet で 8-bit fixed-point multiplication 量子化において最先端の性能を示す。 (論文に記載)
• 層ごとの小数部長さを層統計から決定する 8-bit fixed-point 量子化は、いくつかのケースで全精度ベースのベースラインと同等またはそれを上回る性能を達成できる。
• fixed-point 量子化と PACT に類似したクリッピングを組み合わせた統一的な訓練アプローチは、効果的な訓練ダイナミクスと高い精度を実現する。
• 小数部長は層間で異なり、残差ブロック内でも共有され、兄弟間のクリッピングレベルの共有は一貫性を保ちつつ性能を保持する。
• 実験は F8Net が INT32 乗算やダイアディックスケーリングに依存する方法よりも優れているか同等であることを示し、高精度乗算が強力な量子化モデルの性能には不可欠ではないことを示唆する。
• よく訓練された全精度モデルでの微調整だけで、 fixed-point アプローチの堅牢性と実用性がさらに裏付けられる。