[論文レビュー] SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression

Tim Dettmers, Ruslan Svirschevski+7 more|arXiv (Cornell University)|Jun 5, 2023

Topic Modeling被引用数 25

ひとこと要約

SpQR は大規模言語モデルの近似ロスなしに近い圧縮を可能にするハイブリッドの疎・量子化フォーマットを導入し、高感度の外れ値ウェイトを高い精度に保持しつつ、残りを3〜4ビットに量子化することで、GPU デコード効率を維持しつつ大規模モデルの大幅な圧縮を実現します。

ABSTRACT

Recent advances in large language model (LLM) pretraining have led to high-quality LLMs with impressive abilities. By compressing such LLMs via quantization to 3-4 bits per parameter, they can fit into memory-limited devices such as laptops and mobile phones, enabling personalized use. However, quantization down to 3-4 bits per parameter usually leads to moderate-to-high accuracy losses, especially for smaller models in the 1-10B parameter range, which are well-suited for edge deployments. To address this accuracy issue, we introduce the Sparse-Quantized Representation (SpQR), a new compressed format and quantization technique which enables for the first time near-lossless compression of LLMs across model scales, while reaching similar compression levels to previous methods. SpQR works by identifying and isolating outlier weights, which cause particularly-large quantization errors, and storing them in higher precision, while compressing all other weights to 3-4 bits, and achieves relative accuracy losses of less than 1% in perplexity for highly-accurate LLaMA and Falcon LLMs. This makes it possible to run 33B parameter LLM on a single 24 GB consumer GPU without any performance degradation at 15% speedup thus making powerful LLMs available to consumer without any downsides. SpQR comes with efficient algorithms for both encoding weights into its format, as well as decoding them efficiently at runtime. Specifically, we provide an efficient GPU inference algorithm for SpQR which yields faster inference than 16-bit baselines at similar accuracy, while enabling memory compression gains of more than 4x.

研究の動機と目的

• 標準的な低ビット量子化が特に 1-10B パラメータ範囲の LLM の品質低下を招く理由を調査する。
• 外れ値を個別に扱うことで精度を維持するハイブリッド疎-量子化表現を提案する。
• SpQR のエンコード/デコード効率と GPU 加速実行時を開発する。
• 7B から 65B パラメータのモデル規模にわたって、近似ロスレス圧縮（困惑度の損失 ≤1%）を実証する。
• 既存の PTQ 手法と比較してメモリと速度の利点を評価する。

提案手法

• 出力誤差を過度に大きくする量子化を引き起こす外れ値ウェイトを特定し、それらを高い精度（16ビット）で保存する。
• ベースウェイトに対して非常に小さなグループ量子化（β1 ≈ 8-32）を適用し、統計量には2段階量子化（β2 ≈ 16）を適用してバイレベル量子化を実現する。
• ベースウェイトを 3-4 ビットに量子化し、外れ値を CSR のような疎構造で別個にエンコードする。
• 同じ量子化パイプラインを用いて第一段階および第二段階の統計量自体も量子化する（小グループ向けの 3-bit スケール/Zero-point）。
• 外側の検出を感度（Eq. 2）によって行い、基礎ウェイトの量子化を行う二段階プロセスと、疎な外れ値とメタデータの組み立てを組み合わせた GPTQ に触発された拡張 PTQ アプローチを使用する。
• _dense 16-bit デquantization と CSR ベースの外れ値処理を組み合わせた GPU デコードアルゴリズムを提供し、トークンごとの生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 SpQR は diverse な LLMs に対してパラメータあたり 3-4 ビットまでモデルサイズを削減しつつ近似ロスレス圧縮（困惑度損失 ≤1%）を達成できるのか。
• RQ2 外れ値を分離し小グループバイレベル量子化を用いることは、RTN および GPTQ と比較して言語モデリングの困惑度およびゼロショットタスクにどのような影響を与えるのか。
• RQ3 大規模モデルの GPU 推論において SpQR はどの程度のメモリと計算の利点（速度向上、メモリフットプリント）を提供するのか。

主な発見

• SpQR は 3-4 ビット per パラメータへ量子化した高度に正確な LLaMA および Falcon モデルで相対的な困惑度の損失を 1% 未満に抑える。
• SpQR は精度劣化なしで LLM を約 3.4 倍以上圧縮でき、33B パラメータモデルを 24 GB の GPU で実行可能、16-bit ベースラインより約 15% の速度向上を実現する。
• 同程度のモデルサイズでの GPTQ および RTN のベースラインと比べ、SpQR は困惑度とゼロショット性能を大幅に改善し、GPTQ が RTN より得た改善の大きさに匹敵する。
• 4-bit ベース量子化を用いると、LLaMA および Falcon ファミリ全体で最先端ベースラインの性能に近づくか上回ることができ、16-bit ベースラインに対する誤差をしばしば半分にする。
• 外れ値（約 1% のウェイト）は 16-bit のまま CSR 的な疎構造で保持され、GPU でのデコードを効率化する。