[論文レビュー] Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance

Matina Mahdizadeh Sani, Nima Jamali+2 more|arXiv (Cornell University)|Jan 13, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

要約: 本論文は、参照サンプルが少なくてもターゲット分布に一致するように拡散モデルのサンプリングを導く訓練不要の手法「MMD Guidance」を提案する。潜在空間での最大平均差（MMD）を用いた勾配ステップと、プロンプトを意識した条件付けへの拡張を含む。

ABSTRACT

Pre-trained diffusion models have emerged as powerful generative priors for both unconditional and conditional sample generation, yet their outputs often deviate from the characteristics of user-specific target data. Such mismatches are especially problematic in domain adaptation tasks, where only a few reference examples are available and retraining the diffusion model is infeasible. Existing inference-time guidance methods can adjust sampling trajectories, but they typically optimize surrogate objectives such as classifier likelihoods rather than directly aligning with the target distribution. We propose MMD Guidance, a training-free mechanism that augments the reverse diffusion process with gradients of the Maximum Mean Discrepancy (MMD) between generated samples and a reference dataset. MMD provides reliable distributional estimates from limited data, exhibits low variance in practice, and is efficiently differentiable, which makes it particularly well-suited for the guidance task. Our framework naturally extends to prompt-aware adaptation in conditional generation models via product kernels. Also, it can be applied with computational efficiency in latent diffusion models (LDMs), since guidance is applied in the latent space of the LDM. Experiments on synthetic and real-world benchmarks demonstrate that MMD Guidance can achieve distributional alignment while preserving sample fidelity.

研究の動機と目的

• 事前訓練済み拡散モデルの再訓練なしに分布の一致を動機づける。
• MMDに基づく訓練不要の推論時ガイダンス機構を提案する。
• プロンプトを意識した分布一致を積 kernel によって実現する。
• 潜在拡散モデル（LDM）の潜在空間内での操作による効率的な適応を実現する。
• 合成データと実データの fidel ity とカバレッジの改善を示す実証的効果を示す。

提案手法

• 生成サンプルと参照集合との間の二乗MMDの勾配を逆拡散サンプリングに追加する。
• LDMの効率を高める潜在空間実装を用いる。
• 潜在サンプルに対するMMD勾配を連続微分可能なカーネル（例: ガウス）で計算する。
• 勾配にクロストークを強調し、生成サンプルを参照分布へ引き寄せつつ多様性を維持する。
• テキストと画像の類似度を組み合わせた積カーネルによるプロンプト意識的適応を拡張する。
• クロス項勾配と一様勾配の濃度分析を理論的に提供する。
• プロンプトと潜在変数の積カーネルを用いた条件付き拡散モデルへのガイダンス拡張をオプションで提供する。

Figure 1 : Image generation via a text-conditioned latent diffusion model (LDM) with no guidance vs. our proposed MMD guidance. The LDM (Stable Diffusion-XL) following our proposed MMD guidance over 100 reference samples of "cat" and "dog" images could exhibit the visual format of the target distrib

実験結果

リサーチクエスチョン

• RQ1 推論時に再訓練せず、限られた参照サンプルで定義されたターゲット分布へ拡散モデルをガイドできるか。
• RQ2 低分散・次元頑健な分布発散としてのMMDは、拡散サンプリングのガイドに有効か。
• RQ3 潜在空間のMMDガイダンスは最新の条件付き拡散モデルへ拡張してもサンプル忠実度を保てるか。
• RQ4 テキスト条件付き生成において、MMDガイダンスでプロンプト意識を積カーネルで実現できるか。

主な発見

• MMD Guidanceは無条件拡散モデルの分布不一致を低減しつつ忠実度を保つ。
• 現実画像ベンチマーク（FFHQ、CelebA-HQ）で、 unguided または classifier-free ガイダンスと比べ分布的整合性が改善される。
• プロンプト意識的MMD Guidanceは積カーネルによって分布指標（FD、KD、RRKE）を改善し、SDXLおよびPixArt設定で密度/カバレッジが向上する。
• 潜在空間でのガイダンスは計算効率と条件付き拡散モデルでの強い実証性能を提供する。
• クロス項勾配と一様勾配の濃度に関する理論的結果が示され、限られた参照データでの信頼性あるガイダンスを支持する。
• 参照サンプル数を増やすと性能はプラトーまで向上し、適度な参照セットでも効果的である。

Figure 2 : Comparison of MMD guidance with baselines on 100D Gaussian distributions, when guiding toward a user with 4 Gaussian components.