[論文レビュー] QuIP: 2-Bit Quantization of Large Language Models With Guarantees

Jerry Chee, Yaohui Cai+2 more|PubMed|Jul 25, 2023

Topic Modeling被引用数 24

ひとこと要約

QuIP は incoherence に基づく post-training quantization（後トレーニング量子化）法を導入し、大規模言語モデルに対して 2-bit 重み量子化を実現可能にするとともに、理論的保証と従来の PTQ 手法に対する実証的改善を提供します。

ABSTRACT

This work studies post-training parameter quantization in large language models (LLMs). We introduce quantization with incoherence processing (QuIP), a new method based on the insight that quantization benefits from <i>incoherent</i> weight and Hessian matrices, i.e., from the weights being even in magnitude and the directions in which it is important to round them accurately being unaligned with the coordinate axes. QuIP consists of two steps: (1) an adaptive rounding procedure minimizing a quadratic proxy objective; (2) efficient pre- and post-processing that ensures weight and Hessian incoherence via multiplication by random orthogonal matrices. We complement QuIP with the first theoretical analysis for an LLM-scale quantization algorithm, and show that our theory also applies to an existing method, OPTQ. Empirically, we find that our incoherence preprocessing improves several existing quantization algorithms and yields the first LLM quantization methods that produce viable results using only two bits per weight. Our code can be found at https://github.com/Cornell-RelaxML/QuIP.

研究の動機と目的

• 大規模言語モデルの推論を後トレーニングによるパラメータ量子化で効率化することを動機づけ、可能にする。
• 適応丸めと incoherence 処理を活用して量子化品質を改善する二段階法、QuIP を提案する。
• QuIP を含む適応丸め法を含む広範な適応丸め法の理論分析を提供する。
• 複数のモデルサイズとタスクに対して incoherence 処理が実現可能な 2-bit 量子化をもたらすことを経験的に示す。

提案手法

• 二次近似目的関数 ell(Ŵ) = tr((Ŵ − W)H(Ŵ − W)ᵀ) の形のハessian に基づく推定を用いた最適化プロセスを最小化する適応丸め手順。
• W および Hessian をランダム直交行列の積で掛けることで重みと Hessian の不整合性を保証する incoherence 処理。
• 適応丸めフレームワークに整列する貪欲的な局所探索および座標降下型の更新。
• 一般的な丸め法クラス内での最適性を示す理論分析と OPTQ への等価性/関係性。
• OPT モデル（125m から 66B）を横断する実証評価により改善を示し、大規模モデルに対する初の実用的な 2-bit 量子化結果を提示。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルのポストトレーニング量子化を、保証と実用的な性能を持って実現可能にできるか。
• RQ2 不整合性処理を取り入れると LDLQ/OPTQ のような PTQ 手法の精度はモデルサイズやタスクを横断して改善されるか。
• RQ3 大規模量子化における Hessian に情報を持つ適応丸めの理論的役割は何で、既存手法とどう関連するか。
• RQ4 QuIP は言語生成やゼロショットタスクにおいて、従来の PTQ アプローチと比較してどの程度の性能を示すか。

主な発見

• QuIP は複数のサイズとタスクに対して大規模言語モデルの viable な 2-bit 重み量子化を可能にする。
• 不整合処理は一貫して量子化性能を改善し、方法間で 2 bit における量子化品質の階段状変化を生じさせる。
• QuIP は LLM スケールの量子化アルゴリズムに関する初の理論分析を提供し、それが OPTQ への関連性を示す。
• 貪欲法および LDLQ/OPTQ ベースの変体において incoherence 処理は最近傍丸めよりも多くの設定で優れ、特に 2-bit 量子化で有利。
• 実証結果は 2-bit 量子化が実用的な結果を達成し、モデルサイズが大きくなるにつれて 2-bit と 4-bit 圧縮の間のギャップが小さくなることを示す。