[論文レビュー] Atom: Low-bit Quantization for Efficient and Accurate LLM Serving

Yilong Zhao, Chien‐Yu Lin+8 more|arXiv (Cornell University)|Oct 29, 2023

Topic Modeling被引用数 23

ひとこと要約

tldr: Atom は低ビット重み-活性化量子化（W4A4）を混合精度・細粒度グループ量子化・動的活性化量子化・KVキャッシュ量子化と組み合わせて導入し、LLM提供のThroughputを最小限の精度低下で向上させる。FP16と比較して最大7.73x、INT8と比較して2.53xのエンドツーエンドスループット向上を達成する。

ABSTRACT

The growing demand for Large Language Models (LLMs) in applications such as content generation, intelligent chatbots, and sentiment analysis poses considerable challenges for LLM service providers. To efficiently use GPU resources and boost throughput, batching multiple requests has emerged as a popular paradigm; to further speed up batching, LLM quantization techniques reduce memory consumption and increase computing capacity. However, prevalent quantization schemes (e.g., 8-bit weight-activation quantization) cannot fully leverage the capabilities of modern GPUs, such as 4-bit integer operators, resulting in sub-optimal performance. To maximize LLMs' serving throughput, we introduce Atom, a low-bit quantization method that achieves high throughput improvements with negligible accuracy loss. Atom significantly boosts serving throughput by using low-bit operators and considerably reduces memory consumption via low-bit quantization. It attains high accuracy by applying a novel mixed-precision and fine-grained quantization process. We evaluate Atom on 4-bit weight-activation quantization in the serving context. Atom improves end-to-end throughput (token/s) by up to $7.7\times$ compared to the FP16 and by $2.5\times$ compared to INT8 quantization, while maintaining the same latency target.

研究の動機と目的

• バッチ処理とメモリ制約の下で、より高いLLM提供スループットの必要性を動機づける。
• 最新のGPU上で4ビットの重み-活性化演算を活用する量子化手法を開発する。
• 混合精度・細粒度グループ量子化・動的活性化量子化を通じて精度を保持する。
• 自己注意層のスループットをさらに向上させるため、KVキャッシュのメモリ移動を削減する。
• ハードウェア意識の量子化技術を備えたエンドツーエンドの提供フレームワークを提供する。

提案手法

• 外れ値と通常値を分離して混合精度量子化を採用し、一定のメモリアクセスを実現するために活性化を再配置する。
• グループごとの量子化を適用した細粒度グループ量子化を用いて、量子化誤差を低減しつつ効率的なフュージョンを可能にする。
• 推論時に各活性化マトリクスに対して量子化パラメータを適合させるダイナミック活性化量子化を用いる。
• KVキャッシュを低ビット精度で量子化してメモリ依存の自己注意層を加速し、デクォンタイズを FlashInfer と融合させる。
• 量子化と再配置のステップを既存の演算子に融合させてオーバーヘッドを最小化し、低ビットテンソルコアを活用する。

実験結果

リサーチクエスチョン

• RQ1 4ビットの重み-活性化量子化（W4A4）は、大規模LLM全体でFP16ベースラインに近い精度を維持できるか？
• RQ2 サービングシナリオにおけるAtomの低ビット設計が密度層および自己注意層のスループットに与える影響は何か？
• RQ3 混合精度、グループ量子化、ダイナミック活性化量子化、およびKVキャッシュ量子化が全体の精度とスループットにどう寄与するか？
• RQ4 現実的なワークロード下で、Atomを用いたエンドツーエンドの提供は大規模バッチサイズで効果的にスケールするか？

主な発見

• Atomは同じメモリ制約の下でFP16に対して最大7.73x、INT8に対して2.53xのエンドツーエンドスループット向上を達成する。
• W4A4 を用いた Llama モデルで FP16 に近い perplexity を維持（例: WikiText2 perplexity は FP16 に近い一方で複数の設定でベースラインより優れる）。
• ゼロショット評価では、W4A4 Atom は他の weight-activation 量子化ベースラインを複数タスクで一般的に上回り、FP16 に対する精度低下を低減する。
• エンドツーエンドのレイテンシは、バッチサイズを問わず FP16/INT8 より競争力があるか、あるいは上回り、実用的なバッチサイズで Atom がより低レイテンシを実現する。
• 4-bit weight-activation quantization はKV-cacheメモリの大幅な削減を可能にし、自己注意のスループットを改善するが、精度低下を大幅に抑える。