[論文レビュー] Evaluating Quantized Large Language Models

Shiyao Li, Xuefei Ning+7 more|arXiv (Cornell University)|Feb 28, 2024

Topic Modeling被引用数 9

ひとこと要約

tldr: 本論文は、11のLLMファミリー（125M–180B）にわたるポストトレーニング量子化がWeights、Activations、KV Cacheに与える影響を包括的に評価し、基本的なNLP、Emergent abilities、信頼性、対話、長い文脈タスクを網羅して、実践的な量子化選択を導く。

ABSTRACT

Post-training quantization (PTQ) has emerged as a promising technique to reduce the cost of large language models (LLMs). Specifically, PTQ can effectively mitigate memory consumption and reduce computational overhead in LLMs. To meet the requirements of both high efficiency and performance across diverse scenarios, a comprehensive evaluation of quantized LLMs is essential to guide the selection of quantization methods. This paper presents a thorough evaluation of these factors by evaluating the effect of PTQ on Weight, Activation, and KV Cache on 11 model families, including OPT, LLaMA2, Falcon, Bloomz, Mistral, ChatGLM, Vicuna, LongChat, StableLM, Gemma, and Mamba, with parameters ranging from 125M to 180B. The evaluation encompasses five types of tasks: basic NLP, emergent ability, trustworthiness, dialogue, and long-context tasks. Moreover, we also evaluate the state-of-the-art (SOTA) quantization methods to demonstrate their applicability. Based on the extensive experiments, we systematically summarize the effect of quantization, provide recommendations to apply quantization techniques, and point out future directions. The code can be found in https://github.com/thu-nics/qllm-eval.

研究の動機と目的

• PTQ が幅広いLLMとタスクタイプにわたって、ウェイト、アクティベーション、KVキャッシュのテンソルに与える影響を評価する。
• テンソルタイプ、モデルサイズ、タスクタイプが量子化耐性に与える影響を特徴づける。
• さまざまなシナリオに対するビット幅と量子化戦略に関する実用的な推奨を提供する。
• 最新の量子化手法を比較し、今後の研究の展開を特定する。

提案手法

• 3つのPTQタイプを評価する: Weight-only、Weight-Activation、および KV Cache quantization。
• ウェイトとK/Vには非対称グループ量子化を、アクティベーションには対称のトークンごと量子化を使用し、複数のビット幅（例: W2–W8, KV2–KV8）を用いる。
• 異なる粒度でテンソルを量子化し、AbsMax、Std、Kurtosisを用いてモデルサイズ横断で分析する。
• OPT、LLaMA2、Falcon、Bloomz、Mistral、ChatGLM、Vicuna、LongChat、StableLM、Gemma、Mambaを含む11のモデルファミリー（125M–180B）でベンチマーク。
• 5つのタスクタイプで評価: basic NLP、Emergent abilities、trustworthiness、dialogue、long-context processing。
• 定性的な傾向を報告し、推奨と制限を提供する。

実験結果

リサーチクエスチョン

• RQ1 ウェイト、アクティベーション、KVキャッシュの量子化がモデルサイズとファミリー全体の性能にどのように影響するか？
• RQ2 異なるビット幅と量子化方式に対するタスクレベルおよびテンソルレベルの感度はどのようか？
• RQ3 SOTA量子化手法（例: AWQ、SmoothQuant）は多様なモデルとタスクで性能低下を回復できるか？
• RQ4 量子化の選択は Emergent abilities、対話品質、信頼性、長文脈処理にどのように影響しますか？

主な発見

• モデルサイズが大きくなるとWeightおよびKV Cache量子化の耐性が高まるが、Activation量子化の耐性は低下する。
• Activation量子化はより大きなモデルで峰度が高く、外れ値が多く現れるため、Weight/KV Cache量子化より感度が高い。
• 多くのタスクでW4、W4A8、およびKV4で許容性能を維持するモデルが多い（損失<2%）; W3/W2は特に小型モデルで顕著な低下を引き起こす。
• MoEベースのスケーリング（より大きなモデル）は量子化耐性を普遍的に改善しない；感度は小型の兄弟モデルと同程度のままのこともある。
• Emergent abilities like Multi-Step Reasoning and Self-Calibration are more sensitive to quantization than Instruction-Following and In-Context Learning, with mathematical tasks particularly susceptible.
• KV Cache quantization is more impactful on long-context tasks; weights-only quantization can also degrade long-context performance, with KV8 generally preferable for long texts, and KV4 for mid-length contexts.
• Dialogue quality largely tolerates KV Cache quantization better than Weight quantization; extremely low bit-widths (W2/W4A4) with AWQ or SmoothQuant may still noticeably degrade dialogue performance, though WA quantization with SmoothQuant can recover some cases.
• Long-context tasks show higher sensitivity to KV Cache quantization; for many models KV8 is near lossless for short contexts but KV4 can cause notable degradation for long contexts.