[論文レビュー] QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving

Yujun Lin, Haotian Tang+5 more|arXiv (Cornell University)|May 7, 2024

Wireless Power Transfer Systems被引用数 6

ひとこと要約

論文は QoQ W4A8KV4 量子化と協調設計の QServe システムを提案し、LLM サービングを加速し、TensorRT-LLM や従来の 4-bit 手法に対して大幅なスループット向上を達成します。

ABSTRACT

Quantization can accelerate large language model (LLM) inference. Going beyond INT8 quantization, the research community is actively exploring even lower precision, such as INT4. Nonetheless, state-of-the-art INT4 quantization techniques only accelerate low-batch, edge LLM inference, failing to deliver performance gains in large-batch, cloud-based LLM serving. We uncover a critical issue: existing INT4 quantization methods suffer from significant runtime overhead (20-90%) when dequantizing either weights or partial sums on GPUs. To address this challenge, we introduce QoQ, a W4A8KV4 quantization algorithm with 4-bit weight, 8-bit activation, and 4-bit KV cache. QoQ stands for quattuor-octo-quattuor, which represents 4-8-4 in Latin. QoQ is implemented by the QServe inference library that achieves measured speedup. The key insight driving QServe is that the efficiency of LLM serving on GPUs is critically influenced by operations on low-throughput CUDA cores. Building upon this insight, in QoQ algorithm, we introduce progressive quantization that can allow low dequantization overhead in W4A8 GEMM. Additionally, we develop SmoothAttention to effectively mitigate the accuracy degradation incurred by 4-bit KV quantization. In the QServe system, we perform compute-aware weight reordering and take advantage of register-level parallelism to reduce dequantization latency. We also make fused attention memory-bound, harnessing the performance gain brought by KV4 quantization. As a result, QServe improves the maximum achievable serving throughput of Llama-3-8B by 1.2x on A100, 1.4x on L40S; and Qwen1.5-72B by 2.4x on A100, 3.5x on L40S, compared to TensorRT-LLM. Remarkably, QServe on L40S GPU can achieve even higher throughput than TensorRT-LLM on A100. Thus, QServe effectively reduces the dollar cost of LLM serving by 3x. Code is available at https://github.com/mit-han-lab/omniserve.

研究の動機と目的

• クラウド環境において W8A8 および W4A16 量子化を超える効率的な LLM サービングの必要性を動機づける。
• 精度低下を抑えつつスループットを最大化するための 4-bit 重み、8-bit 活性化、4-bit KV キャッシュ量子化 (W4A8KV4) を導入する。
• 推論時の GPU 上の実行時オーバーヘッドを最小化するためのシステム–ソフトウェアとアルゴリズムの共同設計（QoQ および QServe）を開発する。
• SmoothAttention およびその他の量子化最適化を用いて KV4 量子化による精度低下を軽減する。
• A100 および L40S GPU を横断する複数の LLM における実世界のスループット向上を実証する。

提案手法

• INT8 テンソルコア上で W4A8KV4 計算を有効にするため、進行的グループ量子化を用いた QoQ (Quattuor-Octō-Quattuor) 量子化を導入する。
• キー活性化を整形して KV4 量子化による精度低下を低減する SmoothAttention を開発する。
• W4A8 GEMM のメインループにおけるデクオンティゼーション待機時間を削減するため、計算認識型の重み再配置とレジスタレベルの並列性を設計する。
• デクオンティゼーションを GEMM カーネルにフュージョンして高いスループットを維持し、メモリ境界のアテンションカーネルを実現する。
• W4A8 入力、FP16 出力、ヘッドごとの動的 KV キャッシュ量子化、進行中のバッチ処理を扱う QServe ランタイムを実装する。
• アテンションカーネルをメモリ境界に最適化し、メインループで CUDA コアのオーバーヘッドを最小化する最適化を提供する。

実験結果

リサーチクエスチョン

• RQ1 QoQ を用いた W4A8KV4 量子化は、クラウド環境において既存の 8-bit および 4-bit システムより高いエンドツーエンドの LLM サービングスループットを実現できるか？
• RQ2 LLM の GEMM のメインループにおけるデクオンティゼーションのオーバーヘッドを最小化するための量子化、スケジューリング、およびカーネル設計戦略は何か？
• RQ3 Llama および Qwen モデルにおける KV4 量子化時の精度維持に対する SmoothAttention の有効性はどの程度か？
• RQ4 計算認識型重み再配置とフュージド KV4 アテンションが、異なる GPU アーキテクチャ（A100 対 L40S）全体のサービングスループットに与える影響はどの程度か？
• RQ5 現実のサービングシナリオにおける TensorRT-LLM、Atom、QuaRot と比較した QServe の実用的なスループットとコスト利得は何か？

主な発見

• QServe は A100 GPU 上で最良の TensorRT-LLM 設定より、Llama-3-8B で 1.2-2.4×、Qwen1.5-72B で 2.4×のスループットを実現する。
• QServe は テスト対象モデル全体で A100 GPU 上、Atom および QuaRot より 2.5-2.9×高いスループットを提供する。
• L40S GPU では、QServe は TensorRT-LLM より 1.5-3.5×のスループット向上を達成し、8モデル中6モデルは A100 の性能と同等かそれ以上を発揮しつつコストを削減する。
• QServe はベースラインシステムと比較して LLM サービングのドルコストを約 3 倍削減する。
• QoQ は main-loop オーバーヘッドを最小化し、計算を INT8 テンソルコア上で実行するようにすることで、効率的な W4A8 KV4 GEMM を実現する。
• SmoothAttention は KV4 アテンションにおける KV4 量子化による精度低下を効果的に緩和する。