[논문 리뷰] Stabilizing Diffusion Posterior Sampling by Noise--Frequency Continuation

Feng Tian, Yixuan Li외 4명|arXiv (Cornell University)|2026. 01. 30.

Advanced Neuroimaging Techniques and Applications인용 수 0

한 줄 요약

노이즈-주파수 연속성 프레이워크를 도입하여 노이즈 의존 주파수 대역 내 측정 일관성을 강제하고, 불안정한 역문제에서의 안정성 및 디테일 회복을 향상시킵니다.

ABSTRACT

Diffusion posterior sampling solves inverse problems by combining a pretrained diffusion prior with measurement-consistency guidance, but it often fails to recover fine details because measurement terms are applied in a manner that is weakly coupled to the diffusion noise level. At high noise, data-consistency gradients computed from inaccurate estimates can be geometrically incongruent with the posterior geometry, inducing early-step drift, spurious high-frequency artifacts, plus sensitivity to schedules and ill-conditioned operators. To address these concerns, we propose a noise--frequency Continuation framework that constructs a continuous family of intermediate posteriors whose likelihood enforces measurement consistency only within a noise-dependent frequency band. This principle is instantiated with a stabilized posterior sampler that combines a diffusion predictor, band-limited likelihood guidance, and a multi-resolution consistency strategy that aggressively commits reliable coarse corrections while conservatively adopting high-frequency details only when they become identifiable. Across super-resolution, inpainting, and deblurring, our method achieves state-of-the-art performance and improves motion deblurring PSNR by up to 5 dB over strong baselines.

연구 동기 및 목표

• 극심한 열화 하에서의 확산 포스터리어 샘플링의 불안정성 및 디테일 손실 해결.
• 확산 노이즈 레벨을 주파수 대역화된 측정 가이드와 연결하여 높은 노이즈에서의 그래디언트 정렬 불일치를 피한다.
• 밴드-제한된 가능도 가이드와 다중 해상도 Haar 기반 일관성 전략을 사용하는 실용적 샘플러를 개발한다.
• 학습-없는 설정에서 강력한 베이스라인 대비 초해상도, 인페인팅, 디블러링에서의 향상을 시연한다.

제안 방법

• 현재 확산 노이즈 레벨에 따라 가능도가 대역폭으로 제한된 연속적인 중간 포스터리어 군을 구성한다.
• 주파수 가이드 측정 목표를 사용해 전체 대역 손실과 대역 제한 손실을 노이즈 의존 스케줄과 함께 혼합한다.
• 중간 포스터리어 내에서 Langevin 동역학을 통해 각 노이즈 레벨에서 x0의 PF-ODE 추정치를 정제한다.
• 거친 보정들을 적극적으로 확정하고 고주파 디테일의 도입을 조절하기 위해 Haar 기반 다중 해상도 융합을 도입한다.
• 두 단계 과정: x0의 대역폭 제한 정제, 식별성이 향상되면 더 높은 주파수를 재도입, 그 다음 재노이징 및 반복.

Figure 1 : Results of Different Sampling Steps. The first and third rows show the estimated image $\boldsymbol{\hat{x}}_{0}$ , while the second and fourth rows show the corresponding noised image $\boldsymbol{x}_{T}$ at different timesteps. Across timesteps, the evaluated outputs preserve a similar

실험 결과

연구 질문

• RQ1 노이즈 레벨을 주파수 대역과 결합하는 것이 악조건화된 열화에서 확산 포스터리어 샘플링의 안정성을 개선할 수 있는가?
• RQ2 밴드-제한된 가능도 가이드와 Haar 융합의 결합이 글로벌 구조를 보존하면서 고주파 인공물 감소에 기여하는가?
• RQ3 학습 특화 조정 없이 초해상도, 인페인팅, 디블러링에서 얼마나 많은 PSNR/SSIM/LPIPS 향상이 달성될 수 있는가?
• RQ4 밴드-제한된 가능성으로 도입된 의미 정보 격차를 완화하는 데 있어 다중 해상도(Haar) 일관성의 역할은 무엇인가?

주요 결과

• 제안된 노이즈-주파수 연속 프레임워크는 초해상도, 인페인팅, 디블러링 등 다양한 작업에서 안정성과 디테일 회복을 향상시킨다.
• 사용 가능한 주파수 내용을 점진적으로 확대하는 대역 제한 가능도 가이드는 초기 드리프트와 스케줄 및 연산자 조건화에 대한 민감도를 감소시킨다.
• Haar 도메인 융합은 거친 보정을 확정하는 원칙 있는 방법을 제공하면서 높은 주파수 디테일의 도입을 신중하게 하여 아티팩트를 감소시킨다.
• 실험적으로 여러 설정에서 최첨단 성능을 보이며, 모션 디블러링에서 강력한 베이스라인 대비 PSNR 약 5 dB 이득까지 얻었다.
• 본 방법은 FFHQ 및 ImageNet 데이터셋 전반에서 PSNR을 개선하면서도 강한 SSIM 및 LPIPS를 유지한다.

Figure 2 : Method Overview. First of all, a pre-trained diffusion model is applied to acquire the estimated $\boldsymbol{\hat{x}}_{0}$ . Second, we optimize $\boldsymbol{\hat{x}}_{0}$ in frequency domain and apply Haar fusion. Afterwards, target features are generated after iteratively sampling, and