[論文レビュー] High-Rate Quantized Matrix Multiplication: Theory and Practice

Or Ordentlich, Yury Polyanskiy|arXiv (Cornell University)|Jan 23, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

論文は、2つの設定（一般的な MatMul および 重みのみの量子化）で量子化行列乗算の高レート情報理論限界を導出し、一般的な量子化器を分析し、Near-optimal な WaterSIC を提案する。

ABSTRACT

This work investigates the problem of quantized matrix multiplication (MatMul), which has become crucial for the efficient deployment of large language models (LLMs). We consider two settings: 1) Generic MatMul, where both matrices must be quantized (weight+activation quantization); and 2) weight-only quantization, where the second matrix is only known through covariance matrix $Σ_X$ of its columns. For each setting, we first review the fundamental information-theoretic tradeoff between quantization rate and distortion (high-rate theory), and then analyze the performance of several popular quantization schemes, comparing them to these fundamental limits. Specifically, we discuss rate loss (compared to information theoretic optima) of absmax INT and floating-point (FP) quantization, for which we also derive remarkably accurate heuristic approximations. Weight-only quantization is related to the problem of weighted mean squared error (WMSE) source coding, whose classical (reverse) waterfilling solution dictates how one should distribute rate between coordinates of the vector. We show how waterfilling can be used to improve practical LLM quantization algorithms (GPTQ), which at present allocate rate equally. This new scheme (termed ``WaterSIC'') only uses scalar INT quantizers, but its high-rate performance is basis free (it depends only on the determinant of $Σ_X$ and, thus, unlike existing schemes, is immune to applying random rotations) and is within a multiplicative factor of $\frac{2πe}{12}$ (or 0.25 bit/entry) of the information-theoretic distortion limit (!). GPTQ's performance is affected by the choice of basis, but for a random rotation and actual $Σ_X$ from Llama-3-8B we find GPTQ to be within 0.1 bit (depending on the layer type) of WaterSIC, suggesting that GPTQ with random rotation is also near optimal (for high-rate quantization).

研究の動機と目的

• LLM のデプロイにおけるボトルネックとしての量子化 MatMul を動機づけ、レート-歪みトレードオフを定量化する。
• 一般的な MatMul と重みのみの量子化について、行列統計を用いて基本的な高レート歪み境界を確立する。
• 情報理論的限界に対する人気の量子化器（absmax INT、FP、NVFP4）を評価し、実用的な近似を導出する。
• WaterSIC を導入し、理論的限界に対する近似的に最適な性能を示す。

提案手法

• A^T B に対するレート-R 量子化スキームを共有乱数と A および B のエンコーダで定式化する。
• 高レート仮定の下で最悪ケースおよび平均ガウス入力に対する歪み境界を導出する。
• absmax INT、FP、NVFP4 量子化器を分析し、近似歪みを K(i,j)·2·2^{-2R_eff} の形で得る。
• 共分散 Sigma_X を用いた重みのみ量子化フレームワークを開発し、最適なウェーターシフティング型割り当てを導出する。
• WaterSIC を提案し、座標ごとのレート割り当てスキームとして、歪みを情報理論的最適値の一定因子内に収める。
• WaterSIC を GPTQ/LDLQ に関連づけ、基底依存性と回転不変性を論じる。

(a) Histogram of rounding errors

実験結果

リサーチクエスチョン

• RQ1 一般の量子化 MatMul に対する根本的な高レートのレート-歪み限界とは何か。
• RQ2 一般的な MatMul 設定で、INT、FP、NVFP4 などの一般的な量子化スキームはこれらの限界と比較してどのように性能を出すか。
• RQ3 重みのみ量子化において、Sigma_X の知識が近似最適なレート割り当てと歪みにどう寄与するか。
• RQ4 複雑なベクトル量子化を必要とせずに、実用的な WaterSIC がほぼ最適な歪みを達成できるか。
• RQ5 高レート領域で回転や基底の選択が GPTQ などの実用的量子化器にどのような影響を与えるか。

主な発見

• 高レート量子化の下で (i,j) 成分の得られる最小歪みは K(i,j)·2·2^{-2R} のスケールであり、K(i,j) は列ノルムに依存する。
• INT および FP 量子化器では、歪みを K(i,j)·2·2^{-2R_eff} の形で近似でき、レートギャップ R−R_eff がサブ最適性を特徴づける。
• Sigma_X を意識した重みのみ量子化はウェーターフィリング最適解に近づく歪みを生み出し、WaterSIC の下でエントリあたり最大 0.25 bit の情報理論上の限界との差を持つ。
• 実務的には GPTQ/LDLQ の性能は WaterSIC に近く、ランダム回転によって高レート量子化で GPTQ をほぼ最適にできる場合がある。
• WaterSIC は情報理論的限界の約 2πe/12（≈0.25 bit/エントリ）倍の歪みの内に収まり、Sigma_X による基底不変性を持つ。

(b) MSE as a function of scaling coefficient $\gamma$