[論文レビュー] LoPRo: Enhancing Low-Rank Quantization via Permuted Block-Wise Rotation

Gu, Hongyaoxing, Lijuan Hu+3 more|arXiv (Cornell University)|Jan 27, 2026

Advanced Data Compression Techniques被引用数 0

ひとこと要約

LoPRo は、順列ベースの列並べ替えと部分ブロック Walsh-Hadamard 回転、さらに量子化コストを削減するランク-1 ランダム化 SVD による後処理量子化（PTQ）を改善する微調整不要なポストトレーニング量子化手法です。

ABSTRACT

Post-training quantization (PTQ) enables effective model compression while preserving relatively high accuracy. Current weight-only PTQ methods primarily focus on the challenging sub-3-bit regime, where approaches often suffer significant accuracy degradation, typically requiring fine-tuning to achieve competitive performance. In this work, we revisit the fundamental characteristics of weight quantization and analyze the challenges in quantizing the residual matrix under low-rank approximation. We propose LoPRo, a novel fine-tuning-free PTQ algorithm that enhances residual matrix quantization by applying block-wise permutation and Walsh-Hadamard transformations to rotate columns of similar importance, while explicitly preserving the quantization accuracy of the most salient column blocks. Furthermore, we introduce a mixed-precision fast low-rank decomposition based on rank-1 sketch (R1SVD) to further minimize quantization costs. Experiments demonstrate that LoPRo outperforms existing fine-tuning-free PTQ methods at both 2-bit and 3-bit quantization, achieving accuracy comparable to fine-tuning baselines. Specifically, LoPRo achieves state-of-the-art quantization accuracy on LLaMA-2 and LLaMA-3 series models while delivering up to a 4$ imes$ speedup. In the MoE model Mixtral-8x7B, LoPRo completes quantization within 2.5 hours, simultaneously reducing perplexity by 0.4$\downarrow$ and improving accuracy by 8\%$\uparrow$. Moreover, compared to other low-rank quantization methods, LoPRo achieves superior accuracy with a significantly lower rank, while maintaining high inference efficiency and minimal additional latency.

研究の動機と目的

• PTQ における低ランク近似での残差量子化の課題を分析する。
• メモリと待ち時間を最小化しつつ精度を維持する微調整不要アルゴリズムを開発する。
• 残差量子化を改善するための permutation-based の列重要度処理と部分ブロック回転を提案する。
• ストレージと計算を削減する快速なランク-1 SVD ベースの refine ment（R1SVD）を導入する。
• 効率的な実行時間で LLaMA-2/3 および Mixtral-8x7B における最先端の精度を実証する。

提案手法

• Low-rank Partial Rotation Quantization (LoPRo) を提案し、低ランク分解と残差回転を組み合わせる。
• proxy Hessian を用いて重要な列を先頭に移動させる列置換を適用する。
• Partial block Walsh-Hadamard rotation を用いて残差をデコレラートしつつトップ重要列を保持する。
• Quantized residuals を low-rank 成分から分離して R′ の既存量子化手法を活用する。
• Rank-1 SVD（R1SVD）を導入して効率的で低オーバーヘッドな低 rank 近似とストレージ節約を実現する。
• 圧縮と待ち時間の formal analysis を提供し、バッチサイズ r およびブロックサイズが適度であれば線形にスケールすることを示す。

Figure 1: In LoPRo, the permutation-partial rotation effectively relieves the quantization burden of the residual matrix. Moreover, the R1SVD low-rank approximation maintains high efficiency and compression ratio. Specifics: (A). Using a real matrix and its variants to illustrate the data characteri

実験結果

リサーチクエスチョン

• RQ1 微調整なしの PTQ 設定で残差量子化をどのように改善できるか。
• RQ2 permutation と部分回転は重要なチャネルを保持しつつ残差の量子化を改善できるか。
• RQ3 LoPRo のストレージと計算に対するランク-1 スケッチングの影響はどの程度か。
• RQ4 LoPRo は精度と待ち時間の点で他の微調整不要 PTQ 手法とどのように比較されるか。
• RQ5 LoPRo で LLaMA-2/3 および Mixtral モデルで最先端の量子化精度を達成できるか。

主な発見

• LoPRo は 2-bit および 3-bit 量子化で既存の微調整不要 PTQ 手法より高い精度を達成する。
• 列置換による部分ブロック回転は重要列を保持することで量子化損失を低減する。
• R1SVD はパフォーマンスを維持しつつストレージオーバーヘッドを大幅に削減する。
• LoPRo は 7B モデルを単一 GPU 上で 0.5 時間未満、8x7B モデルを約 3 時間程度で量子化する。
• LoPRo は LLaMA-2/3 系列で最先端の精度を提供し、Mixtral-8x7B のパープレキシティと精度を改善し待ち時間を短縮する。
• 他の低ランク量子化と比較して、LoPRo は低ランクでもより良い精度と高い推論効率を達成する。

Figure 2: Visualization of layers in LLaMA2-7B