[논문 리뷰] Adaptive Moments are Surprisingly Effective for Plug-and-Play Diffusion Sampling

Christian Belardi, Justin Lovelace외 2명|arXiv (Cornell University)|2026. 03. 17.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

본 논문은 적응형 모멘트 추정(Adam 유사)을 도입해 플러그-앤-플레이 디퓨전 샘플링에서 노이즈가 있는 우도 가이던스를 안정화시키고, 최소한의 추가 비용으로 최신 성능을 달성한다. 재구성 및 클래스-조건 생성 작업 전반에서 강건성을 보이고, 작업 난이도 효과를 분석한다.

ABSTRACT

Guided diffusion sampling relies on approximating often intractable likelihood scores, which introduces significant noise into the sampling dynamics. We propose using adaptive moment estimation to stabilize these noisy likelihood scores during sampling. Despite its simplicity, our approach achieves state-of-the-art results on image restoration and class-conditional generation tasks, outperforming more complicated methods, which are often computationally more expensive. We provide empirical analysis of our method on both synthetic and real data, demonstrating that mitigating gradient noise through adaptive moments offers an effective way to improve alignment.

연구 동기 및 목표

• 플러그-앤-플레이 디퓨전 샘플링에서 우도 점수 가이던스의 불안정성을 동기 부여하고 해결한다.
• 샘플링 중 가이던스 기울기를 안정화하기 위한 간단한 적응형 모멘트 추정 방법을 제안한다.
• 다양한 재구성 및 클래스 조건부 생성 작업 전반에 걸쳐 방법을 평가한다.
• 작업 난이도가 성능과 방법의 강인성에 미치는 영향을 분석한다.

제안 방법

• 가이던스 기울기의 일차 및 이차 모멘트의 지수이동평균을 유지함으로써 우도 가이던스를 위한 적응형 모멘트 추정을 공식화한다.
• 두 가지 가이던스 패러다임인 DPS(노이즈 제거 기반)와 CG(분류기 가이던스)에 이 방법을 적용하여 AdamDPS와 AdamCG를 얻는다.
• 바이어스 보정된 모멘트와 작고 안정화 상수를 사용하여 안정화된 가이던스 g_hat_t를 계산한다.
• 기존 샘플링 업데이트와의 호환성을 입증하고 오버헤드가 미미함을 보인다.
• ImageNet, CIFAR-10, Cats 데이터셋에 걸친 합성 및 실제 데이터 실험을 다양한 재구성 작업(초해상도, 블러 제거, 인페인팅)과 함께 수행한다.
• DPS, CG 및 최근의 플러그-앤-플레이 기준선과 비교하고 LPIPS, FID 및 분류 정확도로 평가한다.

Figure 1: Left: The KL divergence between each method’s empirical distribution and the target distribution as a function of the guidance noise coefficient $\zeta$ . Right: Visualization of the empirical and target distributions at $\zeta=0.175$ .

실험 결과

연구 질문

• RQ1 적응형 모멘트 추정이 플러그-앤-플레이 디퓨전 샘플링에서 노이즈가 있는 우도 가이던스를 안정화시킬 수 있는가?
• RQ2 Adam 기반 가이드 샘플링이 작업과 데이터셋 전반에서 재구성 및 클래스 조건부 생성을 개선하는가?
• RQ3 작업 난이도가 증가하고 조건 정보가 감소함에 따라 방법의 성능은 어떻게 변화하는가?
• RQ4 기존 가이던스 방법에 비해 접근 방식이 계산적으로 효율적인가?

주요 결과

• 적응형 모멘트가 플러그-앤-플레이 가이던스(AdamDPS 및 AdamCG)를 상당히 개선하되 오버헤드는 최소화한다.
• AdamDPS는 ImageNet와 Cats 데이터셋에서 초해상도, 가우시안 디블러링, 인페인팅 같은 재구성 과제에서 기준선보다 우수하게 동작한다.
• AdamDPS는 강력한 클래스 조건부 성능을 달성하여 어려운 설정에서 CIFAR-10 및 ImageNet 결과를 현저히 향상시키고, AdamCG는 시간 인식 가이던스를 향상시킨다.
• 작업 난이도 전반에서 적응형 모멘트는 다른 방법이 악화될 때도 성능을 유지하거나 향상시켜 더 희박한 조건에도 강건함을 강조한다.
• 합성 연구에서 AdamDPS가 DPS보다 가이던스 노이즈에 더 강건하며 제어된 노이즈 하에서도 그렇다.
• 가이던스 손실 및 샘플링 궤적은 DPS에 비해 AdamDPS가 조건화 방향으로 더 일관되고 지시된 진행을 보임을 시사한다.

Figure 2: Qualitative comparison of AdamDPS, DPS, and TFG on Cats dataset for super resolution at 12x downsampling and Gaussian deblurring at blur intensity 9.