[논문 리뷰] Tweedie Moment Projected Diffusions For Inverse Problems

Benjamin Boys, Mark Girolami외 4명|arXiv (Cornell University)|2023. 10. 10.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 Tweedie의 공식을 통해 고차수 모멘트를 활용하여 사후 분포 근사를 향상시키는 새로운 방법인 Tweedie Moment Projected Diffusions (TMPD)를 제안한다. 평균과 공분산 추정치를 모두 통합함으로써, 시간에 따라 변하는 하이퍼파rameter가 없는 통계적으로 타당한 단계 크기 자유 샘플링을 실현하며, 가우시안 설정에서 기존 방법보다 샘플 품질과 이론적 최적성 면에서 뛰어난 성능을 보인다.

ABSTRACT

Diffusion generative models unlock new possibilities for inverse problems as they allow for the incorporation of strong empirical priors in scientific inference. Recently, diffusion models are repurposed for solving inverse problems using Gaussian approximations to conditional densities of the reverse process via Tweedie's formula to parameterise the mean, complemented with various heuristics. To address various challenges arising from these approximations, we leverage higher order information using Tweedie's formula and obtain a statistically principled approximation. We further provide a theoretical guarantee specifically for posterior sampling which can lead to a better theoretical understanding of diffusion-based conditional sampling. Finally, we illustrate the empirical effectiveness of our approach for general linear inverse problems on toy synthetic examples as well as image restoration. We show that our method (i) removes any time-dependent step-size hyperparameters required by earlier methods, (ii) brings stability and better sample quality across multiple noise levels, (iii) is the only method that works in a stable way with variance exploding (VE) forward processes as opposed to earlier works.

연구 동기 및 목표

• 확산 모델을 통한 역문제에서 사후 샘플링의 비가역성 문제를 해결하기 위해.
• 가우시안 근사와 히우리스틱 단계 크기 기반의 첫 번째 모멘트 Tweedie의 공식에 의존하는 기존 방법의 개선을 위해.
• Tweedie의 공식을 통해 평균과 공분산을 모두 활용하여 사후 스코어의 원칙적인 고차수 근사를 개발하기 위해.
• 기존의 확산 기반 역문제 해법에서 흔히 사용되는 시간에 따라 변하는 단계 크기 하이퍼파rameter를 제거하기 위해.
• 가우시안 및 비가우시안 설정에서 개선된 샘플 품질과 이론적 최적성을 입증하기 위해.

제안 방법

• 방법은 확산된 우도의 첫 번째 및 두 번째 모멘트(평균과 공분산)를 계산하기 위해 Tweedie의 공식을 사용하여 더 정확한 사후 근사를 가능하게 한다.
• 모멘트 투영을 적용하여 추정된 모멘트를 확산 과정으로 매핑함으로써, 시간에 따라 변하는 하이퍼파rameter가 필요 없는 스코어 기반 사후 근사를 형성한다.
• 고차수 모멘트 정보를 활용한 우도의 기울기 추정치를 구성하고 이를 기존의 확산 모델에 통합한다.
• 계산 효율성을 위해 대각 행렬 근사 버전인 DTMPD가 도입되며, 핵심 성능 향상 요소를 유지한다.
• 합성 및 실제 이미지 복원 작업에서 사전 학습된 확산 사전분포를 사용하여 노이즈가 있는 선형 역문제에 적용하고 검증한다.
• 이론적 분석을 통해 가우시안 데이터 분포 하에서 최적성을 입증하며, 가우시안 경우에 정확한 사후 모멘트 복원이 가능하다.

Figure 1: Error to target posterior for a Gaussian random field . (Top row) visualisation of the empirical mean and variance of the 1500 samples that were used to compute this error against the analytical moments. (Bottom) Wasserstein distances of different methods w.r.t. sample size. For details, s

실험 결과

연구 질문

• RQ1 Tweedie의 공식에서 유도된 고차수 모멘트 정보는 확산 기반 역문제에서 사후 근사에 기여하는가?
• RQ2 공분산 추정치를 통합함으로써 샘플 품질 향상과 히우리스틱 하이퍼파rameter 의존도 감소가 이루어지는가?
• RQ3 제안된 방법은 가우시안 데이터 분포에 대해 최적인가? 기존 접근법과 통계적 효율성 측면에서 어떻게 비교되는가?
• RQ4 이 방법은 가우시안 혼합 및 실제 이미지 복원 작업과 같은 비가우시안 설정으로 일반화 가능한가?
• RQ5 시간에 따라 변하는 단계 크기 하이퍼파rameter의 제거가 사후 샘플링의 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• 가우시안 랜덤 필드 설정에서 TMPD는 사후 평균과 분산을 정확히 복원하여 통계적 최적성을 입증한다.
• 4× 비쿠빅 보간과 σ=0.05 노이즈를 가진 CIFAR-10 이미지 슈퍼레졸루션에서, TMPD는 PSNR 0.730±0.080을 기록하여 ΠGDM(0.711±0.076)과 DPS(0.508±0.141)를 모두 초월한다.
• 반으로 자른 마스크와 σ=0.05 노이즈를 가진 이미지 인painting에서, TMPD는 PSNR 0.714±0.092를 기록하여 DPS(0.457±0.014)와 ΠGDM(0.429±0.077)를 크게 앞선다.
• 2× 최근접 이웃 보간과 σ=0.1 노이즈를 가진 슈퍼레졸루션에서, TMPD는 PSNR 0.633±0.144를 기록하여 DPS(0.301±0.133)와 ΠGDM(0.519±0.113)를 모두 능가한다.
• σ=0.01 노이즈를 가진 인painting에서, TMPD는 PSNR 0.789±0.111을 기록하여 DPS(0.616±0.127)와 ΠGDM(0.668±0.101)를 뚜렷이 앞선다.
• 시간에 따라 변하는 단계 크기 하이퍼파rameter의 튜닝이 필요 없음을 입증하였으며, 다양한 노이즈 수준과 작업에서 일관된 성능을 보였다.

Figure 2: We display the first two dimensions of the GMM inverse problem for one of the measurement models tested ( ${\mathbf{H}},\sigma_{{\textnormal{y}}}=0.1,(d_{{\textnormal{x}}},d_{{\textnormal{y}}})=(80,1)$ ). The blue dots represent samples from the target posterior, while the red dots corresp