[論文レビュー] SliderQuant: Accurate Post-Training Quantization for LLMs

Shigeng Wang, Chao Li+4 more|arXiv (Cornell University)|Mar 26, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

SliderQuant は適応的なスライディング量子化フレームワークを導入し、LLM の層（浅い、中間、深い）を差分量子化して低ビット幅での事後量子化を改善し、多様なモデルとタスクにおける重みのみおよび重み・活性化量子化で従来の PTQ 手法を上回る。

ABSTRACT

In this paper, we address post-training quantization (PTQ) for large language models (LLMs) from an overlooked perspective: given a pre-trained high-precision LLM, the predominant sequential quantization framework treats different layers equally, but this may be not optimal in challenging bit-width settings. We empirically study the quantization impact of different layers on model accuracy, and observe that: (1) shallow/deep layers are usually more sensitive to quantization than intermediate layers; (2) among shallow/deep layers, the most sensitive one is the first/last layer, which exhibits significantly larger quantization error than others. These empirical observations imply that the quantization design for different layers of LLMs is required on multiple levels instead of a single level shared to all layers. Motivated by this, we propose a new PTQ framework termed Sliding-layer Quantization (SliderQuant) that relies on a simple adaptive sliding quantization concept facilitated by few learnable parameters. The base component of SliderQuant is called inter-layer sliding quantization, which incorporates three types of novel sliding window designs tailored for addressing the varying quantization sensitivity of shallow, intermediate and deep layers. The other component is called intra-layer sliding quantization that leverages an incremental strategy to quantize each window. As a result, SliderQuant has a strong ability to reduce quantization errors across layers. Extensive experiments on basic language generation, zero-shot commonsense reasoning and challenging math and code tasks with various LLMs, including Llama/Llama2/Llama3/Qwen2.5 model families, DeepSeek-R1 distilled models and large MoE models, show that our method outperforms existing PTQ methods (including the latest PTQ methods using rotation transformations) for both weight-only quantization and weight-activation quantization.

研究の動機と目的

• aggressive な量子化（例：4 ビット）下での LL M における層認識型 PTQ の必要性を動機づける。
• 浅い、 中間、 深い層で層感度を経験的に特徴付ける。
• 層間と層内のスライディング成分を用いた SliderQuant を提案し、層間量子化誤差を低減する。
• モデルファミリ（Llama、Qwen）、サイズ、およびタスク（生成、コモンセンス、数学/コード）にわたる広範な有効性を示す。
• 重みのみおよび重み-活性化 PTQ との互換性を示し、回転変換を含むバリアントにも対応。

提案手法

• 固定サイズのスライドPTQ の一般化として適応的スライディング量子化を導入。
• 三つのウィンドウ設計を用いた層間スライディング量子化を開発：漸進的に拡張（浅い）、固定サイズ（中間）、漸進的に縮小（深い）。
• ウィンドウ内での逐次的拡張を用いてウィンドウ内の全層を段階的に量子化する層内スライディング量子化。
• 学習可能パラメータ（チャネルごとのスケール α、低秩リファインメント A,B）と一様量子化器を用いて F(W,X) と F(What,X) の間の平均二乗誤差を最小化する。
• CS（チャネルスケーリング）と LoRA に着想を得たリファインメントを組み合わせて、量子化前の refined W および X を得る（式2）。
• SliderQuant と、推論時のコスト増加を伴う SliderQuant+ を提供。

実験結果

リサーチクエスチョン

• RQ1 現代の LLM の異なる層は、層認識型 PTQ 設計を正当化するほどの量子化感度の差を示すか。
• RQ2 適応的スライドウィンドウは、固定サイズのスライドや層別手法よりも層間量子化誤差を効果的に低減できるか。
• RQ3 SliderQuant は多様なモデルとタスクにおいて、重みのみおよび重み-活性化量子化でどの程度性能を発揮するか。
• RQ4 SliderQuant は MoE アーキテクチャや連鎖思考を用いる蒸留モデルで効果的か。

主な発見

• SliderQuant は WikiText2、C4 で perplexity を一貫して低減し、RTN、GPTQ、OmniQuant、CBQ など他の手法と比較して複数のモデルとビット幅（W4A4 を含む）で優れる。
• コモンセンス QA ベンチマークで他の PTQ 手法より平均正確度を改善（Qwen2.5-14B や Llama2-13B などで）。
• 回転変換を備えた SliderQuant+ は追加の推論時コストがある手法の中で最高の結果を得る。
• MoE アーキテクチャ（Qwen3-30B-A3B）および DeepSeek-R1 蒸留モデルにも一般化し、低ビット量子化下でも強力な性能を維持。
• タスクを横断して、重みのみおよび重み-活性化量子化の両方で堅牢な利得を示し、回転拡張ベースラインよりも優れることが多い。
• フレームワークは追加の推論時コストの有無にかかわらず競争力を維持し、巨大 LL M への適用性とスケーラビリティを示す。