[论文解读] Gradient-Aligned Calibration for Post-Training Quantization of Diffusion Models

Dung Anh Hoang, Cuong Pham anh Trung Le+2 more|arXiv (Cornell University)|Feb 1, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

该论文提出一种基于元学习的校准框架，学习样本权重以在后训练量化中对齐扩散时间步的梯度，从而提升扩散模型的生成质量。

ABSTRACT

Diffusion models have shown remarkable performance in image synthesis by progressively estimating a smooth transition from a Gaussian distribution of noise to a real image. Unfortunately, their practical deployment is limited by slow inference speed, high memory usage, and the computational demands of the noise estimation process. Post-training quantization (PTQ) emerges as a promising solution to accelerate sampling and reduce memory overhead for diffusion models. Existing PTQ methods for diffusion models typically apply uniform weights to calibration samples across timesteps, which is sub-optimal since data at different timesteps may contribute differently to the diffusion process. Additionally, due to varying activation distributions and gradients across timesteps, a uniform quantization approach is sub-optimal. Each timestep requires a different gradient direction for optimal quantization, and treating them equally can lead to conflicting gradients that degrade performance. In this paper, we propose a novel PTQ method that addresses these challenges by assigning appropriate weights to calibration samples. Specifically, our approach learns to assign optimal weights to calibration samples to align the quantized model's gradients across timesteps, facilitating the quantization process. Extensive experiments on CIFAR-10, LSUN-Bedrooms, and ImageNet demonstrate the superiority of our method compared to other PTQ methods for diffusion models.

研究动机与目标

• 动机并解决在扩散模型PTQ中对不同时间步的校准样本等同对待而引发的梯度冲突。
• 提出一个元学习框架，学习在量化过程中对齐不同时间步的梯度的最优样本权重。
• 开发双层优化表述和代理梯度匹配目标，以实现稳定的校准。
• 在标准数据集上展示相对于现有PTQ方法的生成保真度（FID/sFID）提升。

提出的方法

• 将带有可学习权重 ω_i 的加权训练集形式化为校准数据。
• 定义一个双层目标，使加权量化模型最小化包含梯度匹配和均方误差项的验证损失。
• 引入梯度匹配的验证损失 L_GM，以促进跨时间步的梯度方向的一致性。
• 提出算法2作为代理优化，通过最小化代理GM损失隐式地最小化目标验证对象。
• 使用具有块重构的AdaRound进行权重量化和基于EMA的激活量化，遵循PTQ约定。
• 在元优化循环（Adam优化器）中训练样本权重 ω，并在跨时间步对量化模型 θ_Q 逐块更新。

实验结果

研究问题

• RQ1 梯度冲突是否会在扩散时间步之间影响PTQ性能，是否可通过对校准样本加权来缓解该冲突？
• RQ2 学习时间步感知的样本权重是否能改善梯度对齐和扩散模型的量化质量？
• RQ3 梯度对齐对CIFAR-10、LSUN-Bedrooms和ImageNet的总体量化性能有何影响？
• RQ4 与现有扩散模型的PTQ方法相比，所提出的方法在FID/sFID指标上表现如何？

主要发现

• 该方法在CIFAR-10、LSUN-Bedrooms和ImageNet的各比特宽下相对于先前的PTQ方法获得更优的FID和sFID分数。
• 跨时间步的梯度对齐提升了校准效果，减少了量化过程中的梯度冲突。
• 该方法在推理时保持竞争力的效率，训练时的开销相对于生成质量提升而言是可控的。
• 即使在时间步极少、验证集很小的情况下，样本权重学习策略仍然有效，展示了方法的鲁棒性。