[論文レビュー] GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

Elias Frantar, Saleh Ashkboos+2 more|arXiv (Cornell University)|Oct 31, 2022

Topic Modeling被引用数 128

ひとこと要約

GPTQは1回のポストトレーニング量子化法で、大規模なGPT/OPTモデルを3–4ビット/ウェイトで正確に圧縮し、単一GPU推論と有意なスピードアップを実現しつつ大幅な精度低下を招かない。

ABSTRACT

Generative Pre-trained Transformer models, known as GPT or OPT, set themselves apart through breakthrough performance across complex language modelling tasks, but also by their extremely high computational and storage costs. Specifically, due to their massive size, even inference for large, highly-accurate GPT models may require multiple performant GPUs, which limits the usability of such models. While there is emerging work on relieving this pressure via model compression, the applicability and performance of existing compression techniques is limited by the scale and complexity of GPT models. In this paper, we address this challenge, and propose GPTQ, a new one-shot weight quantization method based on approximate second-order information, that is both highly-accurate and highly-efficient. Specifically, GPTQ can quantize GPT models with 175 billion parameters in approximately four GPU hours, reducing the bitwidth down to 3 or 4 bits per weight, with negligible accuracy degradation relative to the uncompressed baseline. Our method more than doubles the compression gains relative to previously-proposed one-shot quantization methods, preserving accuracy, allowing us for the first time to execute an 175 billion-parameter model inside a single GPU for generative inference. Moreover, we also show that our method can still provide reasonable accuracy in the extreme quantization regime, in which weights are quantized to 2-bit or even ternary quantization levels. We show experimentally that these improvements can be leveraged for end-to-end inference speedups over FP16, of around 3.25x when using high-end GPUs (NVIDIA A100) and 4.5x when using more cost-effective ones (NVIDIA A6000). The implementation is available at https://github.com/IST-DASLab/gptq.

研究の動機と目的

• 非常に大規模なGPT/OPTモデルの推論メモリと計算を削減することを動機づける。
• 極めて低ビット幅で高精度を保つデータ効率的なワンショット量子化法を開発する。
• 実用的な計算予算内で数百億パラメータ級のモデルに量子化を拡張する。
• 一般的なGPUでのエンドツーエンド推論スピードアップと実用的なデプロイを実証する。

提案手法

• Optimal Brain Quantization (OBQ)に基づき、大規模モデルの大規模性を考慮した主要なスケーラビリティ改善を導入する。
• 重みを層ごとに量子化し、ヘッセ行列の逆情報に基づく近似二次目的を使用する。
• OBQをブロック単位で重みを量子化するよう再定義し、固定の逆ヘッセ行列構造を再利用して実行時を層の次元の三次要素からほぼ二次に低減。
• 遅延バッチ更新を用いてGPUの利用率とメモリ帯域を向上させる。
• 数値安定性を維持するためのコレスキー再形成とダンピングを導入。
• 実用的な最適化と重み行列の量子化の疑似コードを含む完全なGPTQアルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 数百億クラスのパラメータを持つモデルに対して、3–4ビットのウェイトでポストトレーニング量子化は高い精度を達成できるか？
• RQ2 巨大言語モデルのためのスケーラブルで高速かつ正確なワンショット量子化を可能にするアルゴリズム的変更は何か？
• RQ3 GPTQは既存のポストトレーニング量子化法と比較して困惑度、実行時間、GPUでの実用的デプロイの観点でどのように差があるか？
• RQ4 大規模LLMにおける極端な量子化（2ビットや3値など）の限界は何か、グルーピングはどのように役立つか？
• RQ5 GPTQ量子化モデルをデプロイする際のエンドツーエンド推論スピードアップとハードウェア利用の実用的影響は何か？

主な発見

• GPTQはOPT-175BおよびBLOOM-176Bを3–4ビットに量子化し、未圧縮ベースラインと比較して困惑度の喪失がごく僅か。
• 量子化の実行時間は1つのGPUで175Bクラスのモデルに対して約4 GPU時間に達し、単一GPU推論を可能にする。
• GPTQは3–4ビットでRTNスタイルの丸めより優れており、特に175BモデルでRTNが3ビットで崩れる場合でも実用的な困惑度を維持する。
• グループ別量子化（例：g1024, g128）は精度をさらに改善し、特に3ビットで、2ビット/三値域にも合理的なロスで対応可能。
• エンドツーエンドのスピードアップを実証：3ビットOPT-175B生成カーネルで約3.25x、A100、約4.5xでA6000、3ビットモデルのメモリ適合的単一GPU推論。
• この手法はさまざまな量子化グリッドとグルーピング方式と互換性があり、精度と圧縮の柔軟なトレードオフを可能にする。