[논문 리뷰] A Gibbs posterior sampler for inverse problem based on prior diffusion model

Jean‐François Giovannelli|arXiv (Cornell University)|2026. 02. 11.

Markov Chains and Monte Carlo Methods인용 수 0

한 줄 요약

Gibbs-Diffusion Posterior Sampling (G-DPS) 알고리즘을 도입하여 선형 역문제에서 diffusion-prior 기반 후방분포를 샘플링하며, 실용적 의미의 수렴 보장을 제공하고 MNIST 기반 수치 검증을 수행합니다.

ABSTRACT

This paper addresses the issue of inversion in cases where (1) the observation system is modeled by a linear transformation and additive noise, (2) the problem is ill-posed and regularization is introduced in a Bayesian framework by an a prior density, and (3) the latter is modeled by a diffusion process adjusted on an available large set of examples. In this context, it is known that the issue of posterior sampling is a thorny one. This paper introduces a Gibbs algorithm. It appears that this avenue has not been explored, and we show that this approach is particularly effective and remarkably simple. In addition, it offers a guarantee of convergence in a clearly identified situation. The results are clearly confirmed by numerical simulations.

연구 동기 및 목표

• 대규모 예시 세트에서 학습된 diffusion 기반 사전 지식을 사용하여 역설정이 불안정한 선형 역문제를 다룬다.
• 잠재 변수와 관측 변수에 대한 결합 후방을 샘플링하기 위한 Gibbs 샘플링 체계를 개발한다.
• 전방 및 역방향 확산 모델을 활용하여 계산적으로 다루기 쉬운 Gaussian 조건부를 얻는다.
• 수치 실험을 통해 계산 효율성과 불확실성 정량화를 입증한다.

제안 방법

• Gaussian 노이즈를 갖는 전달 문제 y = H x0 + e를 모델링한다.
• Gaussian 전이로 구성된 Forward p0:T+와 Backward p0:T- 마르코프 과정을 통해 diffusion prior를 표현한다.
• 역방향 전이를 정의하기 위해 mu_t^theta를 학습한 denoiser를 이용하고, forward/backward 결합을 KL (diffusion alignment) 거리를 최소화하여 정렬한다.
• x0와 x1:T를 조건부로 업데이트하는 블록-Gibbs 샘플러를 구성하되, 모든 점은 Gaussian이며 해석적 평균/정밀도(precision)가 존재한다.
• x_T를 N(0, I)에서 샘플링하고, t = T-1,...,0에 대해 x_t를 N(x_t; mu_t^theta(x_{t+1}), v_t^- I)에서 재현적으로 샘플링한다.
• 가우시안 조건부를 Fourier 도메인에서 FFT 기반으로 계산하고 효율성을 위해 공분산을 대각화한다.
• Forward/Backward 결합을 생성하는 ancestral sampling을 사용하여 실용적 포스터리어 샘플링(G-DPS)을 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형 역문제에서 diffusion-prior 기반 포스터를 효율적으로 샘플링하는 Gibbs 샘플링 체계가 가능할까?
• RQ2 Forward 및 Backward 확산 모델이 단순한 샘플링에 적합한 Gaussian, 계산 가능 조건부를 제공하는가?
• RQ3 image deconvolution 작업에서 G-DPS의 계산 효율성과 확장성은 어떠한가?
• RQ4 포스터 샘플링이 잘못 정의된 역문제에서 신뢰할 수 있는 불확실성 정량화(포스터 평균 및 신뢰구간)를 가능하게 하는가?
• RQ5 제안된 Gibbs 체계에 수렴 보장이나 실용적 수렴 동작이 존재하는가?

주요 결과

픽셀 1	픽셀 2	픽셀 3
참	-0.00142	0.55092	0.61704
추정	0.00122	0.61773	0.69163
오차	0.0026	0.0668	0.0746
PSD	0.01020	0.05730	0.05719
± 2PSD	✓	✓	✓

• G-DPS는 모든 단계에 대해 Gaussian 조건부를 생성하여 간단한 샘플링이 가능하다.
• 샘플러는 경험적으로 수렴하며, 체인은 비교적 적은 반복 수(일부 픽셀의 경우 약 10 정도, 다른 경우 느림) 내에 안정화된다.
• MNIST 기반 디컨볼루션 토이 문제에 대한 수치 실험은 추정된 x0가 실제값과 근접하고 측정치에 비해 흐림/노이즈를 감소시키는 것을 보여준다.
• 포스터 불확실성은 정량화 가능하다: 포스터 평균은 MMSE 추정에 근접하고 PSD는 두 PSD 사이의 불확실성 구간을 제시한다(실험 사례에서 실제 값은 그 안에 위치).
• 방법은 상당한 계산 효율성을 달성한다: 1030 반복으로 전체 실행이 약 53초 걸렸고, 대부분의 시간이 신경망 평가에 사용되었다; 배치/GPU 병렬화가 가능하다.
• 이 방법은 diffusion-prior 역문제에서 추정과 불확실성 정량화 모두에 대해 일관된 베이지안 프레임워크를 제공한다.