[논문 리뷰] Diffusion Posterior Sampling for General Noisy Inverse Problems

Hyungjin Chung, Jeongsol Kim외 3명|arXiv (Cornell University)|2022. 09. 29.

Advanced X-ray Imaging Techniques인용 수 151

한 줄 요약

Diffusion Posterior Sampling (DPS)는 diffusion-model 기반 솔버를 일반적인 노이즈가 있는 역문제(비선형 순방향 모델 및 측정 잡음 Gaussian 및 Poisson 포함)를 처리하도록 일반화하고, SVD에 의존하지 않으면서 다양한 작업에 걸쳐 고품질 재구성을 달성합니다.

ABSTRACT

Diffusion models have been recently studied as powerful generative inverse problem solvers, owing to their high quality reconstructions and the ease of combining existing iterative solvers. However, most works focus on solving simple linear inverse problems in noiseless settings, which significantly under-represents the complexity of real-world problems. In this work, we extend diffusion solvers to efficiently handle general noisy (non)linear inverse problems via approximation of the posterior sampling. Interestingly, the resulting posterior sampling scheme is a blended version of diffusion sampling with the manifold constrained gradient without a strict measurement consistency projection step, yielding a more desirable generative path in noisy settings compared to the previous studies. Our method demonstrates that diffusion models can incorporate various measurement noise statistics such as Gaussian and Poisson, and also efficiently handle noisy nonlinear inverse problems such as Fourier phase retrieval and non-uniform deblurring. Code available at https://github.com/DPS2022/diffusion-posterior-sampling

연구 동기 및 목표

• 확산 사전을 활용하여 일반적인 노이즈가 있는 비선형 역문제를 해결하도록 동기를 부여한다.
• 명시적 시간 의존 가능도 없이 측정 가능도(likelihood)를 포함하는 실용적인 후방 샘플링 방법을 개발한다.
• 단일 DPS 프레임워크에서 Gaussian 및 Poisson 노이즈를 다룰 수 있도록 한다.
• 비싼 SVD를 피하기 위해 이미지 도메인에서 완전히 작동하여 효율적인 구현을 달성한다.
• 인페인팅, 초해상, 디블러링 및 비선형 위상 회복을 포함한 다양한 문제에서 DPS를 시연한다.

제안 방법

• denoising score 매칭으로 학습된 s_theta*인 denoising score 네트워크를 통해 데이터 사전분포를 모델링한다.
• Tweedie 스타일 관계에 의해 계산된 후방 평균 E[x_0|x_t]인 x_hat_0를 이용해 p(y|x_t)를 p(y|x_hat_0)로 근사하여 계산 가능한 후방 샘플링 스킴을 도출한다.
• 가능도 그래디언트 ∇_{x_t} log p_t(x_t|y)를 s_theta*(x_t, t) − ρ ∇_{x_t} || y − A(x_hat_0) ||^2 (Gaussian) 또는 ∇_{x_t} log p_t(x_t|y) ≈ s_theta*(x_t, t) − ρ ∇_{x_t} || y − A(x_hat_0) ||^2_{Λ} (Poisson)로 통합한다. 여기서 ρ = 1/σ^2이고 Λ는 Poisson 가중치를 부호화한다.
• SVD를 피하고 비선형 순방향 모델 A(·)를 가능하게 하기 위해 이미지 도메인에서 완전히 작동한다.
• 노이즈가 있는 측정에서 샘플링을 안정화하는 스텝 크기 선택을 가진 이산 알고리즘(DPS-Gaussian 및 DPS-Poisson)을 제공한다.

실험 결과

연구 질문

• RQ1 확산 기반 사전이 비선형 순방향 모델을 가진 일반적인 노이즈가 있는 역문제까지 확장될 수 있는가?
• RQ2 측정 하위공간 프로젝션에 의존하지 않고 후방 샘플링을 가능하게 하기 위해 불가능한 p(y|x_t)을 어떻게 근사하여 측정 서브스페이스 투영에 의존하지 않고 후방 샘플링을 가능하게 할 수 있는가?
• RQ3 Gaussian 및 Poisson 측정 노이즈와 비선형 순방향 모델을 포함하여, 계산 가능한 DPS 형식이 허용되는가?
• RQ4 노이즈가 있는 조건에서 DPS가 프로젝션 기반이나 SVD 의존 방법보다 더 나은 재구성을 제공하는가?
• RQ5 푸리에 위상 회복 및 비균일 디블러링과 같은 선형 역문제를 넘어선 작업을 프레임워크가 처리할 수 있는가?

주요 결과

• DPS는 노이즈가 있는 선형 및 비선형 역문제 전반에 걸쳐 고품질 재구성을 달성한다.
• 이 방법은 Inpainting, 초해상, 다양한 디블러링 설정에서 DDRM, MCG, PnP-ADMM, Score-SDE와 같은 여러 비교 기준을 능가한다.
• 이 프레임워크는 해석적으로 다루기 쉬운 가능도 그래디언트를 통해 Gaussian 및 Poisson 노이즈를 수용한다.
• DPS는 이미지 도메인에서 작동하여 SVD를 피하고 복잡한 순방향 모델의 효율적인 처리를 가능하게 한다.
• 비선형 위상 회복 및 비선형 디블러링의 경우 DPS는 기존의 확산 기반 또는 사전 주도 접근법에 비해 지각 품질(FID/LPIPS)이 경쟁력 있거나 우수하다.