[논문 리뷰] Diffusion Model Based Posterior Sampling for Noisy Linear Inverse Problems

Xiangming Meng, Yoshiyuki Kabashima|arXiv (Cornell University)|2022. 11. 20.

Photoacoustic and Ultrasonic Imaging인용 수 20

한 줄 요약

본 논문은 무감독 확산-모델 기반의 포스터리어 샘플링 방법인 DMPS를 도입합니다. 이는 노이즈가 있는 선형 역문제에서 uninformative prior를 사용한 노이즈 교란된 pseudo-likelihood 점수로 빠르고 경쟁력 있는 재구성을 가능하게 하는 방식입니다.

ABSTRACT

With the rapid development of diffusion models and flow-based generative models, there has been a surge of interests in solving noisy linear inverse problems, e.g., super-resolution, deblurring, denoising, colorization, etc, with generative models. However, while remarkable reconstruction performances have been achieved, their inference time is typically too slow since most of them rely on the seminal diffusion posterior sampling (DPS) framework and thus to approximate the intractable likelihood score, time-consuming gradient calculation through back-propagation is needed. To address this issue, this paper provides a fast and effective solution by proposing a simple closed-form approximation to the likelihood score. For both diffusion and flow-based models, extensive experiments are conducted on various noisy linear inverse problems such as noisy super-resolution, denoising, deblurring, and colorization. In all these tasks, our method (namely DMPS) demonstrates highly competitive or even better reconstruction performances while being significantly faster than all the baseline methods.

연구 동기 및 목표

• 가우시안 잡음이 추가된 선형 역문제를 베이지안 프레임워크에서 동기화하고 다룬다.
• 확산모델을 암시적(prior)으로 활용하여 노이즈가 있는 측정으로부터 신호를 재구성한다.
• 난해한 노이즈-교란 가능도 점수의 폐쇄형 근사를 제공하여 효율적인 포스터리어 샘플링을 가능하게 한다.
• 여러 영상 복원 작업에서 DMPS를 입증하고 최첨단 확산 기반 방법과 비교한다.

제안 방법

• 암시적 확산모델 prior p(x)를 사용하여 노이즈가 있는 선형 역문제를 p(x|y)로 모델링한다.
• p(x0)에 대한 비정보적 prior 가정 하에서 노이즈 교란된 pseudo-likelihood 점수 ∇x_t log p̃(y|x_t)을 도출한다.
• A, y, x_t, σ², 및 ᾱ_t를 포함하는 처리 가능 표현으로 축소된 pseudo-likelihood 점수의 폐쇄형 해를 제공한다(정리 1).
• A의 단일 SVD를 통해 점수를 효율적으로 계산한다(결론 1.2).
• 사전 학습된 확산모델로부터의 prior 점수를 pseudo-likelihood 점수와 결합하여 역확산 샘플링 체계에서 활용한다(알고리즘 1).
• 확산모델의 분류자 가이드처럼 가이던스에 관한 스케일링 파라미터 λ를 도입한다.

실험 결과

연구 질문

• RQ1 비정보적- priors 기반의 노이즈 교란 가능도 점수 근사가 노이즈가 있는 선형 역문제의 정확한 포스터리어 샘플링을 제공할 수 있는가?
• RQ2 DMPS가 DPS, DDNM+ 등 기존 확산 기반 포스터리어와 비교하여 추론 속도와 재구성 품질면에서 더 빠른가? 슈퍼 해상도, 노이즈 제거, 디블러링, 컬러라이제이션 등의 태스크에서
• RQ3 사전 학습된 확산모델을 사용할 때 실제 데이터셋 및 분포 외 샘플에 대해 DMPS 프레임워크가 어떻게 수행되는가?
• RQ4 다양한 잡음 수준과 측정 연산자 A에 대해 DMPS의 강인성은 어떠한가?

주요 결과

• DMPS는 잡음이 있는 작업들에서 PSNR, FID, LPIPS 지표에서 경쟁적이거나 우수한 성능을 달성한다.
• DMPS는 확산 포스터리어 샘플링(DPS) 방식에 비해 함수 평가당 약 3배 빠르게 실행된다.
• 이 방법은 잡음에 대한 강건성을 보이며 DPS보다 더 자연스러운 컬러라이제이션을 제시한다.
• DMPS는 사전 학습된 ADM 확산모델을 사용한 경우에도 분포 내 및 분포 외 데이터셋에서 뛰어난 성능을 유지한다.