[論文レビュー] Integer or Floating Point? New Outlooks for Low-Bit Quantization on Large Language Models

Yijia Zhang, Lingran Zhao+7 more|arXiv (Cornell University)|May 21, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、大規模言語モデルの低ビット量子化を最適化するため、同じビット幅（例：INT8/FP8）におけるINT形式とFP形式の間でレイヤー単位で動的に選択するMixture of Formats Quantization（MoFQ）を提案する。MoFQは、重みのみの量子化および重み・活性化の両方の量子化において、最先端の性能を達成しており、ハードウェアコストを増加させることなく、GPTQに比べ10倍速い4ビットW-only量子化速度を実現するとともに、8ビットWA量子化ではフル精度の精度に匹敵する結果を得ている。

ABSTRACT

Efficient deployment of large language models (LLMs) necessitates low-bit quantization to minimize model size and inference cost. While low-bit integer formats (e.g., INT8/INT4) have been the conventional choice, emerging low-bit floating-point formats (e.g., FP8/FP4) offer a compelling alternative and are gaining support from cutting-edge hardware, such as NVIDIA's H100 GPU. However, the superiority of low-bit INT versus FP formats for quantization on LLMs remains unclear. In this study, we conduct a comparative analysis of INT and FP quantization with the same bit-width, revealing that the optimal quantization format varies across different layers due to the complexity and diversity of tensor distribution. Consequently, we advocate the Mixture of Formats Quantization (MoFQ), which selects the optimal format on a layer-wise basis. This simple yet effective approach achieves state-of-the-art results in both weight-only (W-only) and weight-activation (WA) post-training quantization scenarios when tested on LLaMA across various tasks. In 4-bit W-only quantization, MoFQ surpasses GPTQ without complex hyperparameter tuning and with an order of magnitude faster quantization speed. While in 8-bit WA quantization, MoFQ significantly outperforms INT/FP-only methods, achieving performance close to the full precision model. Notably, MoFQ incurs no hardware overhead compared to INT/FP-only quantization, as the bit-width remains unchanged.

研究の動機と目的

• 大規模言語モデルの低ビット量子化において、INT形式とFP形式のどちらが優れているかを調査すること。
• 異なるレイヤーでテンソルの分布が多様であるため、INTまたはFP形式に一貫した優位性がないという問題に対処すること。
• 量子化誤差を最小化するため、各レイヤーで最適な形式を選択する実用的でハードウェア互換性のある手法を開発すること。
• ハードウェアコストを増加させることなく、重みのみの量子化および重み・活性化の両方の量子化において、最先端の性能を達成すること。

提案手法

• 各レイヤーで最適な形式を選択するために、テンソルMSE、レイヤー出力MSE、またはモデル出力MSEなどの指標を用いて量子化誤差を評価する。
• MoFQは、同じビット幅（例：INT8 vs. FP8）のINT形式とFP形式を、レイヤー単位で選択する。これにより、各レイヤーでデータ型とビット幅が一貫する。
• 形式選択は、経験的誤差最小化に基づくものであり、複雑なハイパーパrameterチューニングや2次微分最適化の必要がない。
• MoFQは、INTのみの量子化を想定した既存のハードウェアと互換性があり、NVIDIA H100のような新しいFP8対応ハードウェアともスムーズに統合できる。
• 各レイヤーで同じビット幅とデータ型を維持するため、追加のハードウェアやメモリのオーバーヘッドが生じない。
• 重みのみの量子化（モデル圧縮用）および重み・活性化の両方の量子化（推論高速化用）を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 同じビット幅（例：8ビット）のINTまたはFP量子化が、大規模言語モデルのすべてのレイヤーで一貫して他方を上回るのか？
• RQ2 ダイナミックな分布と静的分布、外れ値の有無、値の範囲といったテンソル分布の特性が、INTとFP量子化の相対的性能にどのように影響するか？
• RQ3 各レイヤーで最適な形式を選択する混合形式戦略が、一様なINTまたはFP量子化よりも優れた量子化精度を達成できるか？
• RQ4 4ビットや8ビットのような低ビット幅における、INTとFPのMACユニットのハードウェア効率的トレードオフは何か？
• RQ5 GPTQのような複雑でハイパーパrameter依存の手法よりも、単純で低オーバーヘッドな形式選択戦略が、4ビット重みのみの量子化で優れた性能を発揮できるか？

主な発見

• 4ビット重みのみの量子化において、MoFQはGPTQと同等またはそれ以上の性能を達成し、量子化速度が10倍速い。
• 8ビット重み・活性化量子化において、MoFQは純粋なINT8およびFP8手法を著しく上回り、フル精度のFP16ベースラインに近いモデル精度を達成した。
• LLaMAおよびOPTモデルのさまざまなサイズにおいて、複数のベンチマーク（WikiText-2、LAMBADA、PIQA、HellaSwag）でMoFQは最先端の結果を達成した。
• WikiText-2において、MoFQ8はLLaMA-13Bで perplexity 5.41 を達成し、FP8（5.41）と同等、INT8（637.95）を上回った。選択された形式のうち92.7%がFP8であった。
• モデル全体にわたって精度損失を最小限に抑え、LLaMA-33BではLAMBADAで平均精度0.859を達成した（FP16ベースラインは0.862）。このうち90.0%のレイヤーがFP8が選択された。
• MoFQは、INTのみの量子化と比較してハードウェアオーバーヘッドを一切発生させない。各レイヤーのビット幅とデータ型は変更されていないため。