[論文レビュー] Variance-Aware Adaptive Weighting for Diffusion Model Training

Nanlong Sun, Lei Shi|arXiv (Cornell University)|Mar 11, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

要約: 本研究は、ログ-SNRノイズレベル全体で拡散モデルの訓練をバランスさせる分散を考慮した適応重み付け戦略を提案し、CIFAR-10およびCIFAR-100で安定性と生成性能を改善する。

ABSTRACT

Diffusion models have recently achieved remarkable success in generative modeling, yet their training dynamics across different noise levels remain highly imbalanced, which can lead to inefficient optimization and unstable learning behavior. In this work, we investigate this imbalance from the perspective of loss variance across log-SNR levels and propose a variance-aware adaptive weighting strategy to address it. The proposed approach dynamically adjusts training weights based on the observed variance distribution, encouraging a more balanced optimization process across noise levels. Extensive experiments on CIFAR-10 and CIFAR-100 demonstrate that the proposed method consistently improves generative performance over standard training schemes, achieving lower Fréchet Inception Distance (FID) while also reducing performance variance across random seeds. Additional analysis, including loss-log-SNR visualization, variance heatmaps, and ablation studies, further reveal that the adaptive weighting effectively stabilizes training dynamics. These results highlight the potential of variance-aware training strategies for improving diffusion model optimization.

研究の動機と目的

• 拡散モデルにおけるノイズレベル間の不均衡な訓練ダイナミクスへ対処する。
• 訓練中に適応する損失分散ベースの重み付け方式を提案する。
• 標準データセット上で拡散モデルの一般化と安定性を向上させる。
• ランダムシード間の性能分散を減少させる利点を示す。

提案手法

• 拡散モデル訓練中のログ-SNRレベル間の損失分散を分析する。
• 観測された分散に応じて訓練重みを変調する分散認識型適応重み付け戦略を開発する。
• 標準の拡散訓練目的に重み付けスキームを組み込む。
• CIFAR-10およびCIFAR-100をFréchet Inception Distance（FID）を主要指標として評価する。
• 訓練ダイナミクスを分析するために損失-log-SNRの可視化と分散ヒートマップを提供する。

実験結果

リサーチクエスチョン

• RQ1 ログ-SNRレベル間の損失分散は拡散モデルの訓練ダイナミクスにどのような影響を与えるか。
• RQ2 観測された分散に基づく適応重み付けは訓練を安定化させ、生成品質を向上させられるか。
• RQ3 提案手法はCIFARデータセットでFIDを改善しつつ、ランダムシード間の性能分散を減らすか。

主な発見

• 分散を考慮した重み付けは、CIFAR-10およびCIFAR-100で標準訓練方式より一貫して生成性能を向上させる。
• 提案法で訓練するとベースラインよりも低いFréchet Inception Distance（FID）を達成する。
• 適応的重み付けは損失-log-SNRの可視化と分散ヒートマップで訓練ダイナミクスを安定化させる。
• 異なるランダムシード間の性能分散を抑制する。
• 分散ベースの重み調整の有効性を支持するアブレーション研究。