[论文解读] Diffusion Posterior Sampling for General Noisy Inverse Problems

Hyungjin Chung, Jeongsol Kim+3 more|arXiv (Cornell University)|Sep 29, 2022

Advanced X-ray Imaging Techniques被引用 151

一句话总结

DPS 将基于扩散模型的求解器推广为能处理通用的嘈杂逆问题，包括非线性前向模型和测量噪声（高斯分布和泊松分布），无需依赖 SVD，在多样化任务中实现高质量重建。

ABSTRACT

Diffusion models have been recently studied as powerful generative inverse problem solvers, owing to their high quality reconstructions and the ease of combining existing iterative solvers. However, most works focus on solving simple linear inverse problems in noiseless settings, which significantly under-represents the complexity of real-world problems. In this work, we extend diffusion solvers to efficiently handle general noisy (non)linear inverse problems via approximation of the posterior sampling. Interestingly, the resulting posterior sampling scheme is a blended version of diffusion sampling with the manifold constrained gradient without a strict measurement consistency projection step, yielding a more desirable generative path in noisy settings compared to the previous studies. Our method demonstrates that diffusion models can incorporate various measurement noise statistics such as Gaussian and Poisson, and also efficiently handle noisy nonlinear inverse problems such as Fourier phase retrieval and non-uniform deblurring. Code available at https://github.com/DPS2022/diffusion-posterior-sampling

研究动机与目标

• 以扩散先验解决一般带噪声的（非）线性逆问题。
• 开发一种可行的后验采样方法，在不需要显式时依赖的似然项的前提下，将测量似然并入其中。
• 在统一的 DPS 框架内实现对高斯和泊松噪声的处理。
• 通过完全在图像域内操作来避免代价高昂的 SVD，从而实现高效实现。
• 在多种问题上展示 DPS，包括修复、超分辨率、去模糊和非线性相位检索。

提出的方法

• 使用 VP-SDE/DDPM 来通过去噪得分网络 s_theta* 来建模数据先验，该网络通过去噪得分匹配训练。
• 通过用 p(y|x_hat_0) 近似 p(y|x_t) 来推导一个可行的后验采样方案，其中 x_hat_0 是通过 Tweedie 风格关系计算的后验均值 E[x_0|x_t]：x_hat_0 ≈ (1/√(ᾱ(t))) (x_t + (1−ᾱ(t)) s_theta*(x_t, t))。
• 将似然梯度 ∇_{x_t} log p_t(x_t|y) 整合为 s_theta*(x_t, t) − ρ ∇_{x_t} || y − A(x_hat_0) ||^2（高斯），或 ∇_{x_t} log p_t(x_t|y) ≈ s_theta*(x_t, t) − ρ ∇_{x_t} || y − A(x_hat_0) ||^2_{Λ}（泊松），其中 ρ = 1/σ^2，Λ 编码泊松权重。
• 在图像域内完全操作，以避免 SVD 并允许非线性前向模型 A(·)。
• 提供离散算法（DPS-Gaussian 和 DPS-Poisson），并给出能在嘈杂测量下稳定采样的步长选择。

实验结果

研究问题

• RQ1 扩散基先验是否能够推广到具有非线性前向模型的一般嘈杂逆问题？
• RQ2 如何对不可解的 p(y|x_t) 进行近似，以在不依赖测量子空间投影的情况下实现后验采样？
• RQ3 包括非线性前向模型在内的高斯和泊松测量噪声是否可证明具有可解的 DPS 形式？
• RQ4 在嘈杂条件下，DPS 是否比基于投影的方法或依赖 SVD 的方法产生更好的重建？
• RQ5 该框架是否能处理超出线性逆问题的任务，如傅里叶相位检索和非均匀去模糊？

主要发现

• DPS 在嘈杂、线性和非线性逆问题上实现了高质量的重建。
• 该方法在修复、超分辨率以及各种去模糊设置等任务上，优于若干基线方法（如 DDRM、MCG、PnP-ADMM、Score-SDE）。
• 该框架通过解析可处理的似然梯度来同时适应高斯噪声和泊松噪声。
• DPS 在图像域内操作，避免 SVD，能够高效处理复杂的前向模型。
• 对于非线性相位检索和非线性去模糊，DPS 提供了与现有基于扩散的或先验驱动方法相比具有竞争力甚至更优的感知质量（FID/LPIPS）。