[논문 리뷰] Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance

Matina Mahdizadeh Sani, Nima Jamali외 2명|arXiv (Cornell University)|2026. 01. 13.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

본 논문은 few reference samples으로 명시된 타깃 분포를 맞추도록 샘플링을 안내하는 훈련 없이 사용하는 MMD Guidance를 제시한다. 이는 잠재 공간에서 계산된 Maximum Mean Discrepancy의 그래디언트 스텝을 이용하고, 프롬프트 인식 조건부 확장을 포함하며, 확산 모델 샘플링을 타깃 분포와 맞추도록 안내한다.

ABSTRACT

Pre-trained diffusion models have emerged as powerful generative priors for both unconditional and conditional sample generation, yet their outputs often deviate from the characteristics of user-specific target data. Such mismatches are especially problematic in domain adaptation tasks, where only a few reference examples are available and retraining the diffusion model is infeasible. Existing inference-time guidance methods can adjust sampling trajectories, but they typically optimize surrogate objectives such as classifier likelihoods rather than directly aligning with the target distribution. We propose MMD Guidance, a training-free mechanism that augments the reverse diffusion process with gradients of the Maximum Mean Discrepancy (MMD) between generated samples and a reference dataset. MMD provides reliable distributional estimates from limited data, exhibits low variance in practice, and is efficiently differentiable, which makes it particularly well-suited for the guidance task. Our framework naturally extends to prompt-aware adaptation in conditional generation models via product kernels. Also, it can be applied with computational efficiency in latent diffusion models (LDMs), since guidance is applied in the latent space of the LDM. Experiments on synthetic and real-world benchmarks demonstrate that MMD Guidance can achieve distributional alignment while preserving sample fidelity.

연구 동기 및 목표

• 사전 학습된 확산 모델의 재학습 없이 분포 매칭을 동기 부여한다.
• MMD를 기반으로 한 학습 없는 추론 시점의 가이던스 메커니즘을 제안한다.
• 텍스트-이미지 유사도를 결합하는 곱 커널을 통해 프롬프트 인식 조건부 분포 매칭을 가능하게 한다.
• 잠재 공간에서 작동하는 잠재 확산 모델(LDMs)에서의 효율적 적응을 달성한다.
• 합성 및 실제 데이터셋에서 충실도와 포괄성 향상을 보이는 실험적 효과를 시연한다.

제안 방법

• 생성된 샘플과 참조 세트 간의 제곱 MMD의 그래디언트를 역확산 샘플링에 보강한다.
• 효율성을 높이기 위해 잠재 공간 구현을 사용한다.
• 미분 가능 커널(예: 가우시안)을 사용하여 잠재 샘플에 대한 MMD 그래디언트를 계산한다.
• 참조 분포를 향해 생성 샘플을 유도하면서 다양성을 유지하도록 그래디언트의 교차 항 강조를 적용한다.
• 프롬프트 인식을 위한 곱 커널을 활용한 텍스트와 이미지 유사도를 결합한 확장된 적응을 제공한다.
• 교차 항 그래디언트 및 균일 그래디언트 농도에 대한 이론적 집중 분석을 제공한다.
• 프롬프트와 잠재에 대한 곱 커널을 통해 조건부 확산 모델에 대한 가이던스를 선택적으로 확장할 수 있다.

Figure 1 : Image generation via a text-conditioned latent diffusion model (LDM) with no guidance vs. our proposed MMD guidance. The LDM (Stable Diffusion-XL) following our proposed MMD guidance over 100 reference samples of "cat" and "dog" images could exhibit the visual format of the target distrib

실험 결과

연구 질문

• RQ1 제한된 참조 샘플로 정의된 타깃 분포를 재학습 없이 추론 시점에서 확산 모델에 가이던스를 줄 수 있는가?
• RQ2 저분산, 차원 강건한 분포 발산으로서의 MMD가 확산 샘플링 가이던스에 효과적인가?
• RQ3 잠재 공간 MMD 가이던스가 최첨단 조건부 확산 모델로 확장되더라도 샘플 충실도를 유지하는가?
• RQ4 MMD 가이던스에서 곱 커널을 통한 텍스트-조건 생성에서 프롬프트 인식을 달성할 수 있는가?

주요 결과

• MMD Guidance는 무조건 분포 모델에서 충실도를 보전하면서 분포 불일치를 감소시킨다.
• MMD Guidance는 unguided 또는 classifier-free 가이던스 기준선에 비해 실제 이미지 벤치마크(FFHQ, CelebA-HQ)에서 분포 정렬을 개선한다.
• 곱 커널을 이용한 프롬프트 인식 MMD Guidance는 SDXL 및 PixArt 설정에서 분포 지표(FD, KD, RRKE) 및 밀도/포괄도 측면에서 향상된 성능을 달성한다.
• 잠재 공간에서의 가이던스는 조건부 확산 모델에 대해 계산 효율성과 강력한 실험적 성능을 제공한다.
• 교차 항 그래디언트 및 균일 그래디언트 농도의 집중 결과는 제한된 참조 데이터로도 신뢰할 수 있는 가이던스를 지지한다.
• 참조 샘플 수가 늘어날수록 성능이 증가하다가 어느 정도의 포화에 이르며, modest한 참조 집합에서도 방법이 효과적으로 유지된다.

Figure 2 : Comparison of MMD guidance with baselines on 100D Gaussian distributions, when guiding toward a user with 4 Gaussian components.