[論文レビュー] Gradient-Aligned Calibration for Post-Training Quantization of Diffusion Models

Dung Anh Hoang, Cuong Pham anh Trung Le+2 more|arXiv (Cornell University)|Feb 1, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

この論文は、ポストトレーニング量子化（PTQ）中に拡散プロセスの timesteps ごとに勾配を揃えるようサンプルごとの重みを学習するメタラーニングベースのキャリブレーション枠組みを導入し、生成品質を向上させる。

ABSTRACT

Diffusion models have shown remarkable performance in image synthesis by progressively estimating a smooth transition from a Gaussian distribution of noise to a real image. Unfortunately, their practical deployment is limited by slow inference speed, high memory usage, and the computational demands of the noise estimation process. Post-training quantization (PTQ) emerges as a promising solution to accelerate sampling and reduce memory overhead for diffusion models. Existing PTQ methods for diffusion models typically apply uniform weights to calibration samples across timesteps, which is sub-optimal since data at different timesteps may contribute differently to the diffusion process. Additionally, due to varying activation distributions and gradients across timesteps, a uniform quantization approach is sub-optimal. Each timestep requires a different gradient direction for optimal quantization, and treating them equally can lead to conflicting gradients that degrade performance. In this paper, we propose a novel PTQ method that addresses these challenges by assigning appropriate weights to calibration samples. Specifically, our approach learns to assign optimal weights to calibration samples to align the quantized model's gradients across timesteps, facilitating the quantization process. Extensive experiments on CIFAR-10, LSUN-Bedrooms, and ImageNet demonstrate the superiority of our method compared to other PTQ methods for diffusion models.

研究の動機と目的

• diffusion モデルの PTQ において timestep ごとに calibration サンプルを等しく扱うことから生じる勾配衝突を動機づけ、これを解決する。
• 勾配を timestep ごとに揃える最適なサンプル重みを学習するメタラーニング枠組みを提案する。
• 安定したキャリブレーションを可能にする bi-level 最適化定式化と surrogate 勾配マッチング目的を開発する。
• 標準データセット上で従来の PTQ 手法より生成忠実度（FID/sFID）を改善する。

提案手法

• 各キャリブレーションサンプルが学習可能な重み ω_i を持つ重み付きトレーニングセットとしてキャリブレーションデータを定式化する。
• 重み付き量子化モデルが勾配マッチングと MSE 項を含む検証損失を最小化する bi-level 目的関数を定義する。
• timestepごとの勾配方向の整合性を促進する勾配マッチング検証損失 L_GM を導入する。
• ターゲット検証目的を内在的に最小化する surrogate GM 損失を最小化することで Algorithm 2 を surrogate 最適化として提案する。
• 重み量子化には AdaRound をブロック再構成で適用し、PTQ の慣例に従って EMA ベースの活性化量子化を行う。
• メタ最適化ループ（Adam 最適化子）でサンプル重み ω を訓練し、timesteps に跨ってブロックごとに量子化モデル θ_Q を更新する。

実験結果

リサーチクエスチョン

• RQ1 diffusion timesteps 間の勾配衝突が PTQ の性能を妨げるか、キャリブレーションサンプルのウェイト付けでこの衝突を緩和できるか。
• RQ2 timestep対応のサンプル重みを学習することで勾配整列と拡散モデルの量子化品質が向上するか。
• RQ3 勾配整列が CIFAR-10、LSUN-Bedrooms、ImageNet での全体的な量子化性能に与える影響はどれほどか。
• RQ4 拡散モデルの既存 PTQ 手法と比べた場合、FID/sFID 指標での提案手法の比較はどうか。

主な発見

• 本手法は、CIFAR-10、LSUN-Bedrooms、ImageNet において異なるビット幅下で従来の PTQ 手法より優れた FID および sFID を達成する。
• timesteps を跨る勾配整列はキャリブレーションの有効性を高め、量子化時の勾配衝突を低減する。
• 学習時間のオーバーヘッドは生成品質の向上に比して控えめで、推論時の効率性と競合する水準を維持する。
• 非常に少ない timesteps や小規模な検証セットでも有効であり、サンプル重み学習戦略のロバスト性を示す。