[論文レビュー] Extreme Compression of Large Language Models via Additive Quantization

Vage Egiazarian, Andrei Panferov+4 more|arXiv (Cornell University)|Jan 11, 2024

Topic Modeling被引用数 4

ひとこと要約

この論文では、大規模言語モデル（LLMs）をパラメータあたり2–3ビットまで極端に圧縮するための新しい加法的量子化手法AQLMを紹介する。インスタンスに適応する入力適応型コードブック最適化と、層ブロック全体にわたる共同チューニングを採用することで、2ビット領域で最先端の精度を達成するとともに、GPU/CPUでの高速推論を実現。メモリ使用量は最大8倍削減され、GPUでは最大3.05倍、CPUでは最大4.07倍の高速化が達成された。

ABSTRACT

The emergence of accurate open large language models (LLMs) has led to a race towards performant quantization techniques which can enable their execution on end-user devices. In this paper, we revisit the problem of "extreme" LLM compression-defined as targeting extremely low bit counts, such as 2 to 3 bits per parameter-from the point of view of classic methods in Multi-Codebook Quantization (MCQ). Our algorithm, called AQLM, generalizes the classic Additive Quantization (AQ) approach for information retrieval to advance the state-of-the-art in LLM compression, via two innovations: 1) learned additive quantization of weight matrices in input-adaptive fashion, and 2) joint optimization of codebook parameters across each transformer blocks. Broadly, AQLM is the first scheme that is Pareto optimal in terms of accuracy-vs-model-size when compressing to less than 3 bits per parameter, and significantly improves upon all known schemes in the extreme compression (2bit) regime. In addition, AQLM is practical: we provide fast GPU and CPU implementations of AQLM for token generation, which enable us to match or outperform optimized FP16 implementations for speed, while executing in a much smaller memory footprint.

研究の動機と目的

• パラメータあたり2–3ビットという極端な圧縮条件下で、既存手法が著しい精度低下を示す課題に対処すること。
• 特に加法的量子化（AQ）を含むマルチコードブック量子化（MCQ）技術を、LLM重みの事後量子化に拡張すること。
• 入力に適応するキャリブレーションとブロック単位の共同最適化を組み込むことで、低ビット領域における精度対サイズのパレート最適性を向上させること。
• 最小限の遅延オーバーヘッドで、最適化されたGPUおよびCPU推論カーネルを用いて、圧縮されたLLMの実用的デプロイメントを可能にすること。

提案手法

• 入力トークン分布下での層出力誤差を最小化するように再定式化した、学習された加法的量子化フレームワークAQLMを提案。
• キャリブレーションデータを用いて、層ブロック全体にわたってコードブックパラメータを共同最適化することで、インスタンスに適応する入力適応型コードブック学習を導入。
• コードブック学習中の収束を加速するために、残差K-means初期化を採用。
• 2段階のトレーニングプロセスを採用：初期コードブック学習の後、コードブックパラメータのキャリブレーションベースのファインチューニング。
• AQLM推論に適した効率的なGPUおよびCPUカーネルを実装。8ビットの小さなコードブックを活用することで、キャッシュ利用効率を向上させ、メモリフットプリントを削減。
• ハイブリッドなスパース・量子化コンponentを含まない均一な量子化フォーマットをサポート。デプロイメントを単純化。

実験結果

リサーチクエスチョン

• RQ1 マルチコードブック量子化（MCQ）技術は、LLM重みの事後量子化に効果的に適応可能か？
• RQ2 インスタンスに適応する入力適応型コードブック最適化は、標準的な直接量子化と比較して、2ビットLLM量子化における精度を顕著に向上させるか？
• RQ3 層ブロック間の共同最適化は、低ビット幅の圧縮を維持しつつモデル性能を向上させるか？
• RQ4 計算複雑性を考慮しても、AQLMはコンsumerハードウェア上でリアルタイム推論に実用的か？
• RQ5 AQLMの性能は、キャリブレーションデータセットサイズやコードブック構成（例：コード幅、コードブック数）にどのように依存するか？

主な発見

• AQLMは2ビット領域で最先端の性能を達成し、Llama 2 7B、13B、70Bモデルにおいて、QuIP#など先行手法を上回った。
• Llama 2 70Bでは、2.07ビット/パラメータでWiki2上でのパープレキシティが7.98にまで低下し、極端な圧縮下でも顕著な精度向上を達成した。
• 70Bモデルの推論において、GPU（Nvidia RTX 3090）ではFP16比で最大3.05倍、CPU（Intel i9、8コア）では最大4.07倍の高速化が達成された。
• FP16比で最大8倍のメモリ使用量削減が可能であり、同時にFP16の推論速度を維持または上回った。
• コードブックパラメータのファインチューニングが精度に最も大きな影響を与えた。キャリブレーションデータセットサイズが4096シーケンスに達すると、256を超えると利得が減少する傾向を示した。
• 複数の小さなコードブック（例：2×8ビット）を用いることで、GPUキャッシュ利用効率が向上し、より高い高速化が可能になったが、わずかな精度のトレードオフを伴った。