[논문 리뷰] Variance-Aware Adaptive Weighting for Diffusion Model Training

Nanlong Sun, Lei Shi|arXiv (Cornell University)|2026. 03. 11.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

본 논문은 로그-SNR 노이즈 수준 전반에 걸친 확산 모델 학습의 균형을 맞추기 위한 분산 인지적 적응 가중치 전략을 도입하여 CIFAR-10 및 CIFAR-100에서 안정성과 생성 성능을 향상시킨다.

ABSTRACT

Diffusion models have recently achieved remarkable success in generative modeling, yet their training dynamics across different noise levels remain highly imbalanced, which can lead to inefficient optimization and unstable learning behavior. In this work, we investigate this imbalance from the perspective of loss variance across log-SNR levels and propose a variance-aware adaptive weighting strategy to address it. The proposed approach dynamically adjusts training weights based on the observed variance distribution, encouraging a more balanced optimization process across noise levels. Extensive experiments on CIFAR-10 and CIFAR-100 demonstrate that the proposed method consistently improves generative performance over standard training schemes, achieving lower Fréchet Inception Distance (FID) while also reducing performance variance across random seeds. Additional analysis, including loss-log-SNR visualization, variance heatmaps, and ablation studies, further reveal that the adaptive weighting effectively stabilizes training dynamics. These results highlight the potential of variance-aware training strategies for improving diffusion model optimization.

연구 동기 및 목표

• 확산 모델에서 노이즈 수준 간의 학습 역학 불균형을 해결한다.
• 학습 중에 적응하는 손실 분산 기반 가중치 체계를 제안한다.
• 표준 데이터셋에서 확산 모델의 일반화 및 안정성을 향상시킨다.
• 무작위 시드 간 성능 분산 감소의 이점을 보여준다.

제안 방법

• 확산 모델 학습 중 log-SNR 수준 전반의 손실 분산을 분석한다.
• 관찰된 분산에 따라 학습 가중치를 조절하는 분산 인지적 적응 가중치 전략을 개발한다.
• 표준 확산 학습 목표에 이 가중치 체계를 통합한다.
• 주 지표로 Fréchet Inception Distance를 사용하여 CIFAR-10 및 CIFAR-100에서 평가한다.
• 학습 역학을 분석하기 위해 손실-로그-SNR 시각화 및 분산 히트맵을 제공한다.

실험 결과

연구 질문

• RQ1 log-SNR 수준 전반의 손실 분산이 확산 모델 학습 역학에 어떤 영향을 미치는가?
• RQ2 관찰된 분산에 기반한 적응 가중치가 학습을 안정화하고 생성 품질을 향상시킬 수 있는가?
• RQ3 제안된 방법이 CIFAR 데이터셋에서 FID를 향상시키면서 무작위 시드 간 성능 분산을 감소시키는가?

주요 결과

• 분산 인지 가중치가 CIFAR-10 및 CIFAR-100에서 표준 학습 방식에 비해 생성 성능을 일관되게 향상시킨다.
• 제안된 방법으로 학습하면 기준선보다 낮은 Fréchet Inception Distance (FID)를 얻는다.
• 손실-로그-SNR 시각화 및 분산 히트맵으로 나타난 바와 같이 적응 가중치가 학습 역학을 안정시킨다.
• 이 방법은 서로 다른 무작위 시드 간의 성능 분산을 감소시킨다.
• 아블레이션 연구는 분산 기반 가중치 조정의 효과를 뒷받침한다.