[論文レビュー] Adaptive Moments are Surprisingly Effective for Plug-and-Play Diffusion Sampling

Christian Belardi, Justin Lovelace+2 more|arXiv (Cornell University)|Mar 17, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

本論文は適応モーメント推定（Adamに似た手法）を導入し、プラグインプレイ拡散サンプリングにおけるノイズの多い尤度ガイダンスを安定化させ、追加コストを最小限に抑えつつ最先端の結果を達成する。再構成とクラス条件付き生成タスクの頑健性を示し、タスク難易度の影響を分析する。

ABSTRACT

Guided diffusion sampling relies on approximating often intractable likelihood scores, which introduces significant noise into the sampling dynamics. We propose using adaptive moment estimation to stabilize these noisy likelihood scores during sampling. Despite its simplicity, our approach achieves state-of-the-art results on image restoration and class-conditional generation tasks, outperforming more complicated methods, which are often computationally more expensive. We provide empirical analysis of our method on both synthetic and real data, demonstrating that mitigating gradient noise through adaptive moments offers an effective way to improve alignment.

研究の動機と目的

• プラグインプレイ拡散サンプリングにおける尤度スコアガイダンスの不安定性を動機づけ、対処する。
• サンプリング時のガイダンス勾配を安定化させるための単純な適応モーメント推定アプローチを提案する。
• 多様な再構成およびクラス条件付き生成タスクで手法を評価する。
• タスクの難易度が性能と手法の頑健性に与える影響を分析する。

提案手法

• ガイダンス勾配の第一モーメントと第二モーメントの指数移動平均を維持することで尤度ガイダンスの適応モーメント推定を定式化する。
• この手法を2つのガイダンスパラダイム：DPS（デノイジングベース）とCG（分類器ガイダンス）に適用し、AdamDPSとAdamCGを得る。
• バイアス補正済みモーメントと小さな安定化定数を用いて安定化されたガイダンス g_hat_t を計算する。
• 既存のサンプリング更新と互換性があり、オーバーヘッドはごく僅かであることを示す。
• Syntheticおよび実データ実験をImageNet、CIFAR-10、Catsデータセットで実施し、再構成タスク（超解像、ぼかし除去、インペイント）を多様に検討する。
• DPS、CG、および最近のプラグアンドプレイベースラインと比較し、LPIPS、FID、分類精度で評価する。

Figure 1: Left: The KL divergence between each method’s empirical distribution and the target distribution as a function of the guidance noise coefficient $\zeta$ . Right: Visualization of the empirical and target distributions at $\zeta=0.175$ .

実験結果

リサーチクエスチョン

• RQ1 適応モーメント推定はプラグインプレイ拡散サンプリングにおけるノイズの多い尤度ガイダンスを安定化できるか？
• RQ2 Adamを用いたサンプリングは再構成とクラス条件付き生成の各タスク・データセットで改善をもたらすか？
• RQ3 タスク難易度が上がり、条件情報が制限されるにつれて手法の性能はどう変化するか？
• RQ4 既存のガイダンス手法と比較して計算的に効率的か？

主な発見

• 適応モーメントは大幅にガイダンスを改善し、最小のオーバーヘッドでAdamDPSとAdamCGを実現する。
• AdamDPSは再構成タスク（超解像、ガウシアンぼかし除去、インペイント）でImageNetおよびCatsデータセットにおいてベースラインを上回る。
• AdamDPSは強力なクラス条件付き性能を達成し、特に難易度の高い設定下でCIFAR-10とImageNetの結果を改善する；AdamCGは時間認識ガイダンスを改善。
• タスクの難易度を超えて、適応モーメントは他の手法が劣化する場面でも性能を維持または向上させ、より疎な条件付けに対する頑健性を強調する。
• 合成研究ではAdamDPSがDPSよりガイダンスノイズに対してより頑健であることを示し、制御されたノイズ下でも同様。
• ガイダンス損失とサンプリングの軌跡は、AdamDPSがDPSと比較して条件付けに向けてより一貫性のある指向性を示すことを示唆する。

Figure 2: Qualitative comparison of AdamDPS, DPS, and TFG on Cats dataset for super resolution at 12x downsampling and Gaussian deblurring at blur intensity 9.