[論文レビュー] LLM-QAT: Data-Free Quantization Aware Training for Large Language Models

Zechun Liu, Barlas Oğuz+7 more|arXiv (Cornell University)|May 29, 2023

Topic Modeling被引用数 15

ひとこと要約

LLM-QAT は、生成データ蒸留を通じて重み・活性化・KVキャッシュの4ビット量子化を実現するデータフリーの量子化認識訓練を導入し、ポストトレーニング量子化よりも優れた性能を、7B/13B/30B の LLaMA モデル全体で達成します。

ABSTRACT

Several post-training quantization methods have been applied to large language models (LLMs), and have been shown to perform well down to 8-bits. We find that these methods break down at lower bit precision, and investigate quantization aware training for LLMs (LLM-QAT) to push quantization levels even further. We propose a data-free distillation method that leverages generations produced by the pre-trained model, which better preserves the original output distribution and allows quantizing any generative model independent of its training data, similar to post-training quantization methods. In addition to quantizing weights and activations, we also quantize the KV cache, which is critical for increasing throughput and support long sequence dependencies at current model sizes. We experiment with LLaMA models of sizes 7B, 13B, and 30B, at quantization levels down to 4-bits. We observe large improvements over training-free methods, especially in the low-bit settings.

研究の動機と目的

• ゼロショットおよび少数ショット機能を保ちながら、8ビットを超える大規模言語モデルの量子化を動機づける。
• 元データにアクセスせず事前学習済みモデルから訓練信号を生成するデータフリーディスティレーション手法を提案する。
• LLM分布に適した特化量子化器を用いて、重み・活性化・KVキャッシュを量子化する。
• データフリー蒸留を用いた QAT が出力分布を保持し、モデルスケールを超えて PTQ を上回ることを実証する。
• 実用的な導入のためのモデルサイズ・ビット精度・スループットのトレードオフを評価する。

提案手法

• 事前学習済みモデルから次トークンデータを生成するデータフリーディスティレーションを導入し、ハイブリッドサンプリング戦略（最初の3–5トークンはトップ1、それ以降は確率サンプリング）を用いる。
• 教師（全精度）からのクロスエントロピー対数分布蒸留を用いて量子化済みの学生を訓練する；ソフトラベルは硬ラベルより訓練を改善する。
• 重みと活性化に対して対称的 MinMax 量子化を採用し、チャネルごとの重み量子化とトークンごとの活性化量子化を行う。
• KVキャッシュをトークンごとに量子化し、保存されたスケーリング係数を用い、QAT 中の勾配計算に量子化を組み込む。
• トランスフォーマーの全結合層を含むKVキャッシュを、重み4ビット・活性化4ビット（設定によっては活性化6ビット）へ量子化する。
• LLaMA-7B、-13B、-30B でデータフリーディスティレーションの有効性を示し、初の高精度4ビットLLMを達成し、スループットのためのKVキャッシュ量子化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データフリーモデル蒸留は、量子化認識訓練中に元の出力分布を保持できるか。
• RQ2 LLM における重み・活性化・KVキャッシュのビット精度は、ゼロショット・少数ショット機能を維持したままどこまで低下させられるか。
• RQ3 異なる量子化器・サンプリング戦略・蒸留ターゲットが、LLM の量子化性能に与える影響はどうなるか。
• RQ4 KVキャッシュの同時量子化は、精度を犠牲にすることなくスループットを大幅に向上させるか。

主な発見

• LLM-QAT は LLaMA-7B/13B/30B の重み・活性化・KVキャッシュを4ビット量子化可能にし、8ビット PTQ baseline と比較して顕著な精度維持を示す。
• 8-8-8 および 4-8-4/4-8-8 設定では、LLM-QAT は最先端 PTQ 法を上回ることが多く、例えば 30B の 8-8-4 は PTQ ベースラインよりゼロショット精度が高い。
• 4ビット重みと4ビット活性化の構成は、複数のゼロショットタスクでほぼ高精度を達成できる（平均損失は約1.5ポイント程度）、一部のケースでは4ビット活性化が6ビットの実現性を示す。
• 次トークンサンプリングによってモデルが生成したデータは、実データのサブセットや WikiText のファインチューニングよりゼロショットタスクの一般化に優れる。
• 教員からのロジットベース知識蒸留は、ラベルのみ蒸留やアテンション/隠れ状態蒸留オプションを一貫して上回る。
• LLM-QAT と SmoothQuant の組み合わせは、特定の 4/4/16 および 4/8/16 設定で利得をもたらすが、利点は重みと活性化のビット配分に依存する。