[논문 리뷰] Gradient-Aligned Calibration for Post-Training Quantization of Diffusion Models

Dung Anh Hoang, Cuong Pham anh Trung Le외 2명|arXiv (Cornell University)|2026. 02. 01.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

본 논문은 사후 양자화(post-training quantization) 중 확산 시간단계(diffusion timesteps) 간 그래디언트를 정렬하기 위해 샘플별 가중치를 학습하는 메타러닝 기반 보정 프레임워크를 제안하고, 확산 모델의 생성 품질을 향상시킵니다.

ABSTRACT

Diffusion models have shown remarkable performance in image synthesis by progressively estimating a smooth transition from a Gaussian distribution of noise to a real image. Unfortunately, their practical deployment is limited by slow inference speed, high memory usage, and the computational demands of the noise estimation process. Post-training quantization (PTQ) emerges as a promising solution to accelerate sampling and reduce memory overhead for diffusion models. Existing PTQ methods for diffusion models typically apply uniform weights to calibration samples across timesteps, which is sub-optimal since data at different timesteps may contribute differently to the diffusion process. Additionally, due to varying activation distributions and gradients across timesteps, a uniform quantization approach is sub-optimal. Each timestep requires a different gradient direction for optimal quantization, and treating them equally can lead to conflicting gradients that degrade performance. In this paper, we propose a novel PTQ method that addresses these challenges by assigning appropriate weights to calibration samples. Specifically, our approach learns to assign optimal weights to calibration samples to align the quantized model's gradients across timesteps, facilitating the quantization process. Extensive experiments on CIFAR-10, LSUN-Bedrooms, and ImageNet demonstrate the superiority of our method compared to other PTQ methods for diffusion models.

연구 동기 및 목표

• 확산 모델의 PTQ에서 시간단계별로 샘플들을 동등하게 다루는 것에서 발생하는 그래디언트 충돌의 동기를 부여하고 이를 해결합니다.
• 그래디언트를 시간단계별로 정렬하는 최적의 샘플 가중치를 학습하는 메타러닝 프레임워크를 제안합니다.
• 안정적인 보정을 가능하게 하는 이중 최적화 형식과 대리 그래디언트 매칭 목적을 개발합니다.
• 표준 데이터셋에서 기존 PTQ 방법들에 비해 생성적 충실도(FID/sFID)가 향상되었음을 입증합니다.

제안 방법

• 각 보정 샘플마다 학습 가능한 가중치 ω_i 를 가지는 가중치가 부여된 훈련 세트로 보정 데이터를 형식화합니다.
• 가중 양자화된 모델이 그래디언트 매칭 및 MSE 항을 포함하는 검증 손실을 최소화하는 이중 최적화를 정의합니다.
• 툭립 과제의 방향의 일관성을 촉진하기 위해 그래디언트 매칭 검증 손실 L_GM 를 도입합니다.
• 목표 검증 객체를 대리로 최소화하는 SURROGATE GM 손실을 최소화하는 대리 최적화를 제시하는 알고리즘 2를 제안합니다.
• 가중치 양자화를 위한 블록 재구성과 PTQ 관례에 따른 EMA 기반 활성화 양자화를 이용합니다.
• 메타 최적화 루프(Adam 최적화기)로 샘플 가중치 ω 를 학습하고, 시간단계별로 양자화된 모델 θ_Q 를 블록 단위로 업데이트합니다.

실험 결과

연구 질문

• RQ1 확산 시간단계 간 그래디언트 충돌이 PTQ 성능을 저해할 수 있으며 보정 샘플의 가중치 부여로 이 충돌을 완화할 수 있습니까?
• RQ2 시간단계 인식 샘플 가중치를 학습하면 그래디언트 정렬 및 확산 모델의 양자화 품질이 향상됩니까?
• RQ3 그래디언트 정렬이 CIFAR-10, LSUN-Bedrooms, ImageNet 전반의 양자화 성능에 미치는 영향은 무엇입니까?
• RQ4 제안된 방법이 FID/sFID 지표 측면에서 확산 모델에 대한 기존 PTQ 방법과 어떻게 비교됩니까?

주요 결과

• 이 방법은 다양한 비트폭에서 CIFAR-10, LSUN-Bedrooms, ImageNet에 대해 기존 PTQ 방법보다 우수한 FID 및 sFID 점수를 산출합니다.
• 시간단계 간 그래디언트 정렬은 보정 효과를 개선하고 양자화 중 그래디언트 충돌을 줄입니다.
• 학습 시간 대비 생성 품질 향상으로 인해 추론 시간 효율을 유지하면서 비용이 낮은 편의가 달성됩니다.
• 매우 적은 시간단계와 작은 검증 세트에서도 샘플 가중치 학습 전략의 강건성을 보여줍니다.