[論文レビュー] FP8 Quantization: The Power of the Exponent

Andrey N. Kuzmin, Mart van Baalen+4 more|arXiv (Cornell University)|Aug 19, 2022

Neural Networks and Applications被引用数 13

ひとこと要約

本稿では、外れ値をより効果的に扱える指数の柔軟性を活かして、ニューラルネットワーク推論におけるINT8の優れた代替手段としてFP8量子化を提案する。異なる可微分FP8シミュレーションフレームワークを導入し、最適な指数バイアスと仮数部・指数部ビット割り当てを同時に学習する。FP8は、特に外れ値が多いネットワークにおいて、後期量子化（PTQ）でINT8を上回ることを示しており、量子化に伴う訓練（QAT）により両形式間の差が縮小される。

ABSTRACT

When quantizing neural networks for efficient inference, low-bit integers are the go-to format for efficiency. However, low-bit floating point numbers have an extra degree of freedom, assigning some bits to work on an exponential scale instead. This paper in-depth investigates this benefit of the floating point format for neural network inference. We detail the choices that can be made for the FP8 format, including the important choice of the number of bits for the mantissa and exponent, and show analytically in which settings these choices give better performance. Then we show how these findings translate to real networks, provide an efficient implementation for FP8 simulation, and a new algorithm that enables the learning of both the scale parameters and the number of exponent bits in the FP8 format. Our chief conclusion is that when doing post-training quantization for a wide range of networks, the FP8 format is better than INT8 in terms of accuracy, and the choice of the number of exponent bits is driven by the severity of outliers in the network. We also conduct experiments with quantization-aware training where the difference in formats disappears as the network is trained to reduce the effect of outliers.

研究の動機と目的

• 低ビット浮動小数点形式（例：FP8）がニューラルネットワーク量子化においてINT8を上回る利点を有するかどうかを調査すること。
• FP8における仮数部と指数部のビット数の選択が、異なるデータ分布下でのモデル精度に与える影響を分析すること。
• スケーリング係数とビット割り当てをエンドツーエンドで最適化可能な、効率的で可微分なFP8シミュレーションフレームワークの開発。
• 多様なネットワークにおけるFP8の性能を、後期量子化（PTQ）および量子化に伴う訓練（QAT）の両設定で評価すること。
• 実世界のモデルに適した最適なFP8フォーマットとバイアス設定を特定することで、ハードウェア設計を支援すること。

提案手法

• FP32ハードウェア上で可微分なFP8量子化シミュレーションを提案し、スケーリング係数とビット割り当ての勾配ベース最適化を可能にする。
• 各レイヤーごとに学習可能な指数バイアスを導入し、分布特性に応じた動的調整を可能にする。
• 丸め操作を通過する逆伝播のためのストレートスルーエスティメーター（STE）を採用し、仮数部と指数部のビット数を同時に最適化可能にする。
• 符号部、指数部、仮数部のビット数をカスタマイズ可能な柔軟なFP8フォーマットを設計し、3M4E、4M3E、5M2E、2M5Eの設定をサポートする。
• 複数のネットワークとデータモダリティを用いたPTQおよびQATによる手法の妥当性を検証し、異なるフォーマット間での精度を比較する。
• 対数スケールのヒストグラム分析を用いて、FP8とINT8フォーマット間の動的範囲と精度のトレードオフを可視化する。

実験結果

リサーチクエスチョン

• RQ1 後期量子化（PTQ）において、FP8量子化はINT8を上回る推論精度を達成するか？
• RQ2 FP8における仮数部と指数部のビット数の異なる設定が、さまざまなネットワークタイプにおけるモデル性能に与える影響は何か？
• RQ3 仮数部と指数部のビット割り当ておよび指数バイアスを、バックプロパゲーションにより同時に学習可能か？
• RQ4 量子化に伴う訓練（QAT）を用いる場合、FP8の利点はどの程度減少するか？
• RQ5 活性化および重みの外れ値分布が、最適なFP8フォーマット選択にどのように影響を与えるか？

主な発見

• FP8量子化は、外れ値が存在する状況を除き、幅広いネットワークで後期量子化（PTQ）においてINT8を上回る性能を示す。
• 5M2Eおよび4M3EのFP8フォーマットが最も高い精度を達成しており、特にトランスフォーマーのような外れ値が著しいネットワークでは、指数部ビット数（例：4または5）を増やすことで最適となる。
• 指数部ビット数の選択は外れ値の深刻さに依存する：より多くの指数部ビットは動的範囲を拡大し、極端な値の量子化誤差を低減する。
• 量子化に伴う訓練（QAT）では、FP8とINT8の性能差が消える。これは、ネットワークがINT8の量子化グリッドに適応するためである。
• 提案された可微分FP8シミュレーションにより、仮数部と指数部の最適なスケーリング係数およびビット割り当てを、エンドツーエンドで効率的に学習可能である。
• 本研究は、指数部による追加の自由度のおかげで、FP8がINT8を上回る意味ある利点を有することを示している。これは、活性化および重みの動的範囲をよりよく保持できるからである。