[論文レビュー] FPTQ: Fine-grained Post-Training Quantization for Large Language Models

Qingyuan Li, Yifan Zhang+7 more|arXiv (Cornell University)|Aug 30, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、微調整を伴わずにSOTA（最先端）のW4A8（4ビット重み、8ビット活性化）性能を達成する、大規模言語モデル向けの新しい微細粒度の事後量子化手法FPTQを提案する。層ごとの活性化量子化と、困難な層に対する新しい対数等化技術、微細粒度の重み量子化を組み合わせることで、FPTQはINT8推論を効率的に行い、INT4重み保存を実現し、BLOOM、LLaMA、LLaMA-2ベンチマークにおいてモデル精度を保持したまま、メモリおよび計算効率を顕著に向上させる。

ABSTRACT

In the era of large-scale language models, the substantial parameter size poses significant challenges for deployment. Being a prevalent compression technique, quantization has emerged as the mainstream practice to tackle this issue, which is mainly centered on two recipes W8A8 and W4A16 (i.e. weights and activations in such bit widths). In this study, we propose a novel W4A8 post-training quantization method for the available open-sourced LLMs, which combines the advantages of both two recipes. Therefore, we can leverage the benefit in the I/O utilization of 4-bit weight quantization and the acceleration due to 8-bit matrix computation. Nevertheless, the W4A8 faces notorious performance degradation. As a remedy, we involve layerwise activation quantization strategies which feature a novel logarithmic equalization for most intractable layers, and we combine them with fine-grained weight quantization. Without whistles and bells, we eliminate the necessity for further fine-tuning and obtain the state-of-the-art W4A8 quantized performance on BLOOM, LLaMA, and LLaMA-2 on standard benchmarks. We confirm that the W4A8 quantization is achievable for the deployment of large language models, fostering their wide-spreading real-world applications.

研究の動機と目的

• 大規模言語モデルにおけるW4A8事後量子化で一般的に見られる性能劣化を是正すること。
• リソース制限のあるデバイスへのLLMの効率的デプロイを可能にするために、メモリアクセスと計算スループットの両方を最適化すること。
• 微調整の必要を排除しつつ、W4A8量子化における最先端の精度を維持すること。
• 4ビット重み保存と8ビット活性化計算を調和させる、一般化可能で推論に適した量子化スキームを開発すること。

提案手法

• モデルの異なる層における活性化分布の難易度の違いに応じて適応する層ごとの量子化戦略を提案する。
• 困難な層における極端な活性化オーバーフローを安定化させるために、新規の対数活性化等化（LAE）技術を導入する。
• 現代のハードウェアで効率的な行列乗算を実現するため、8ビット活性化を維持しつつ、4ビット重みに微細粒度の量子化を適用する。
• モデルの微調整や勾配更新を必要とせず、オフラインの活性化統計からスケーリング係数を計算する。
• 活性化抑制レベルを制御するハイパーパrameter化された抑制関数を採用し、多様な層にわたる耐性を向上させる。
• 重みと活性化の量子化意思決定を各層で分離することで、ハイブリッド量子化スキームで見られる性能低下を回避する戦略を設計する。

実験結果

リサーチクエスチョン

• RQ1 W4A8事後量子化は、微調整を伴わずしてLLMで最先端の性能を達成できるか？
• RQ2 極端な動的範囲を示す活性化分布は、低ビット設定における量子化誤差を低減するためにどのように安定化できるか？
• RQ3 対数等化を用いた層ごとの量子化戦略は、W4A8設定において均一またはグローバル量子化を上回る性能を発揮できるか？
• RQ4 実際の応用において、4ビット重みと8ビット活性化を組み合わせることは、W8A8 や W4A16 よりも優れた推論効率をもたらすか？
• RQ5 提案手法は、BLOOM、LLaMA、LLaMA-2 といった多様なLLMにおいて、モデル固有の適応なしに高い精度を維持できるか？

主な発見

• FPTQは、微調整なしに、MMLU や Common Sense QA といった標準ベンチマークにおいて、BLOOM-7B1、LLaMA-7B、LLaMA-2-7B で最先端のW4A8性能を達成した。
• LLaMA-7Bでは、FPTQが平均MMLUスコア73.42を達成し、FP16ベースラインからわずか1.09ポイントの低下にとどまり、4ビット重みを用いても高い精度を維持した。
• LLaMA-2-7Bでは、FPTQが平均MMLUスコア73.77を達成し、W4A8ベースラインを上回り、FP16モデルからもたった0.91ポイントの差にとどまった。
• アブレーションスタディの結果、LAEの後にGPTQ微調整を適用すると性能が低下することが確認され、FPTQの成功は追加チューニングなしに事後設計された点に起因していることが裏付けられた。
• 本手法により、INT8推論をINT4重み保存で実現でき、自己デコード段階でのメモリ帯域幅の圧力を軽減するとともに、コンテキストデコード段階での計算を高速化した。
• 図1の結果から、対数等化技術が、オーバーフローに脆弱な層の活性化分布を効果的に安定化させ、量子化の安定性が向上していることが明らかになった。