[论文解读] Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance

Matina Mahdizadeh Sani, Nima Jamali+2 more|arXiv (Cornell University)|Jan 13, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

论文提出了 MMD 指导，一种无需训练的方法，利用潜在空间中的最大均值距离在梯度步骤上引导扩散模型采样以匹配由少量参考样本指定的目标分布，并扩展到与提示相关的条件化。

ABSTRACT

Pre-trained diffusion models have emerged as powerful generative priors for both unconditional and conditional sample generation, yet their outputs often deviate from the characteristics of user-specific target data. Such mismatches are especially problematic in domain adaptation tasks, where only a few reference examples are available and retraining the diffusion model is infeasible. Existing inference-time guidance methods can adjust sampling trajectories, but they typically optimize surrogate objectives such as classifier likelihoods rather than directly aligning with the target distribution. We propose MMD Guidance, a training-free mechanism that augments the reverse diffusion process with gradients of the Maximum Mean Discrepancy (MMD) between generated samples and a reference dataset. MMD provides reliable distributional estimates from limited data, exhibits low variance in practice, and is efficiently differentiable, which makes it particularly well-suited for the guidance task. Our framework naturally extends to prompt-aware adaptation in conditional generation models via product kernels. Also, it can be applied with computational efficiency in latent diffusion models (LDMs), since guidance is applied in the latent space of the LDM. Experiments on synthetic and real-world benchmarks demonstrate that MMD Guidance can achieve distributional alignment while preserving sample fidelity.

研究动机与目标

• 在不重新训练的情况下，为预训练扩散模型建立分布匹配的动机。
• 提出基于 MMD 的无训练、推理时的引导机制。
• 通过乘积核实现提示感知的分布匹配。
• 在潜在扩散模型（LDM）的潜在空间中实现高效自适应。
• 在合成与真实数据集上展示对保真度与覆盖率的提升的实证有效性。

提出的方法

• 在反向扩散采样中加入生成样本与参考集合之间平方 MMD 的梯度。
• 使用潜在空间实现以提高 LDM 的效率。
• 利用可微分核（如高斯核）对潜在样本计算 MMD 梯度。
• 在梯度中引入交叉项强调以向参考分布靠拢，同时保持多样性。
• 扩展到提示感知的自适应，结合文本与图像相似性的乘积核。
• 给出交叉项梯度和均匀梯度收敛的理论收敛性分析。
• 可选将引导扩展到条件扩散模型，通过对提示与潜在变量的乘积核实现条件化。

Figure 1 : Image generation via a text-conditioned latent diffusion model (LDM) with no guidance vs. our proposed MMD guidance. The LDM (Stable Diffusion-XL) following our proposed MMD guidance over 100 reference samples of "cat" and "dog" images could exhibit the visual format of the target distrib

实验结果

研究问题

• RQ1 扩散模型是否可以在推理时被引导以匹配由有限参考样本定义的目标分布，而无需重新训练？
• RQ2 MMD 作为低方差、对维度鲁棒的分布发散度在引导扩散采样中的效果如何？
• RQ3 潜在空间的 MMD 指导是否能扩展到最先进的条件扩散模型同时保持样本保真度？
• RQ4 是否可通过 MMD 指导中的乘积核实现文本条件生成的提示感知？

主要发现

• MMD 指导在无条件扩散模型中降低了分布不匹配，同时保持保真度。
• 与无引导或无分类器引导基线相比，MMD 指导在真实图像基准（FFHQ、CelebA-HQ）上实现了更好的分布对齐。
• 带有乘积核的提示感知 MMD 指导在分布指标（FD、KD、RRKE）上取得提升，并在 SDXL 与 PixArt 设置中具有更高的密度/覆盖率。
• 潜在空间中的引导为条件扩散模型提供了计算效率和强大的经验性能。
• 理论结果显示交叉项梯度和均匀梯度收敛性，为在有限参考数据下提供可靠的引导提供了支撑。
• 增加参考样本数量可提升性能直至达到平台期，在参考集合适中时方法仍然有效。

Figure 2 : Comparison of MMD guidance with baselines on 100D Gaussian distributions, when guiding toward a user with 4 Gaussian components.