[論文レビュー] On the Importance of a Multi-Scale Calibration for Quantization

Seungwoo Son, Ingyu Seong+3 more|arXiv (Cornell University)|Feb 7, 2026

Advanced Data Compression Techniques被引用数 0

ひとこと要約

MaCa は各サンプル正規化を用いて複数のシーケンス長に渡る較正データを集約することで PTQ の長さ認識 Hessian 構築を導入し、LLMs の低ビット量子化を改善します。

ABSTRACT

Post-training quantization (PTQ) is a cornerstone for efficiently deploying large language models (LLMs), where a small calibration set critically affects quantization performance. However, conventional practices rely on random sequences of fixed length, overlooking the variable-length nature of LLM inputs. Input length directly influences the activation distribution and, consequently, the weight importance captured by the Hessian, which in turn affects quantization outcomes. As a result, Hessian estimates derived from fixed-length calibration may fail to represent the true importance of weights across diverse input scenarios. We propose MaCa (Matryoshka Calibration), a simple yet effective method for length-aware Hessian construction. MaCa (i) incorporates multi-scale sequence length information into Hessian estimation and (ii) regularizes each sequence as an independent sample, yielding a more stable and fruitful Hessian for accurate quantization. Experiments on state-of-the-art LLMs (e.g., Qwen3, Gemma3, LLaMA3) demonstrate that MaCa consistently improves accuracy under low bit quantization, offering a lightweight enhancement compatible with existing PTQ frameworks. To the best of our knowledge, this is the first work to systematically highlight the role of multi-scale calibration in LLM quantization.

研究の動機と目的

• 入力シーケンス長が LLM の Hessian ベース PTQ に与える影響を動機づける。
• MaCa を提案し、Hessian 推定にマルチスケールのシーケンス長を組み込む。
• 追加の較正コストなしで Hessian ベースの量子化の安定性と有効性を向上させる。

提案手法

• Hessian の集約をシーケンスごとに更新前に正規化することで長さ非依存に再定義する。
• varied sequence lengths のセットから較正長を抽出してマルチスケール長集約を導入する。
• Hessian をトークンではなくサンプルレベルの移動平均で更新し、各較正サンプルに等しい重要度を与える。
• MaCa を GPTQ および GPTAQ に適用し、複数の LLM とビット精度で評価する。
• 短いシーケンスと長いシーケンスを組み合わせることで Hessian がより豊かになり、再構成誤差と量子化結果が改善されることを示す。

実験結果

リサーチクエスチョン

• RQ1 入力シーケンス長は PTQ の入力側 Hessian H_in にどのように影響するか。
• RQ2 マルチスケールで長さ非依存の較正戦略は量子化をより代表的な Hessian にできるか。
• RQ3 マルチスケール長集約とシーケンスごとの正規化は、異なるモデルとビット幅で量子化精度を改善するか。

主な発見

• MaCa は同じ較正予算の下で Qwen3、Gemma3、LLaMA3 ファミリー全体で平均下流精度を一貫して改善する。
• マルチスケール長集約と各サンプル正規化は GPTQ および GPTAQ の 4-bit、3-bit、2-bit/g128 設定で測定可能な向上を提供する。
• MaCa は層間で再構成誤差を低く抑え、GPTQ よりも正確な量子化を示す。
• MaCa は LongBench の長文コンテキストベンチマーク（MultiFieldQA、NarrativeQA、Qasper など）で顕著な利得を生む。
• アブレーション研究は、マルチスケール集約とシーケンスごとの正規化の双方が性能向上に寄与することを示している。