[论文解读] Diffusion Model Based Posterior Sampling for Noisy Linear Inverse Problems

Xiangming Meng, Yoshiyuki Kabashima|arXiv (Cornell University)|Nov 20, 2022

Photoacoustic and Ultrasonic Imaging被引用 20

一句话总结

本文提出 DMPS，一种基于扩散模型的后验采样方法，用于带噪线性反问题的无监督重建，利用带噪伪似然分数和无信息先验实现快速且具有竞争力的重建。

ABSTRACT

With the rapid development of diffusion models and flow-based generative models, there has been a surge of interests in solving noisy linear inverse problems, e.g., super-resolution, deblurring, denoising, colorization, etc, with generative models. However, while remarkable reconstruction performances have been achieved, their inference time is typically too slow since most of them rely on the seminal diffusion posterior sampling (DPS) framework and thus to approximate the intractable likelihood score, time-consuming gradient calculation through back-propagation is needed. To address this issue, this paper provides a fast and effective solution by proposing a simple closed-form approximation to the likelihood score. For both diffusion and flow-based models, extensive experiments are conducted on various noisy linear inverse problems such as noisy super-resolution, denoising, deblurring, and colorization. In all these tasks, our method (namely DMPS) demonstrates highly competitive or even better reconstruction performances while being significantly faster than all the baseline methods.

研究动机与目标

• 在贝叶斯框架下，动机化并解决带加性高斯噪声的线性反问题。
• 利用扩散模型作为隐式先验，从带噪测量中重建信号。
• 提供对不可解的带噪扰动似然分数的封闭形式近似，使后验采样高效成为可能。
• 在多种图像修复任务中演示 DMPS，并与最先进的基于扩散的方法进行比较。

提出的方法

• 使用隐式扩散模型先验 p(x) 将带噪线性反问题建模为 p(x|y)。
• 在对 p(x0) 采用无信息先验假设的情况下推导带噪扰动的伪似然分数 ∇x_t log p̃(y|x_t)。
• 给出伪似然分数的封闭形式解，该解化简为涉及 A、y、x_t、σ² 和 ᾱ_t 的可处理表达式（定理 1）。
• 通过对 A 的单次 SVD 高效计算该分数（推论 1.2）。
• 在反向扩散采样方案（算法 1）中，将来自预训练扩散模型的先验分数与伪似然分数结合。
• 引入一个缩放参数 λ 以实现类似扩散模型中的分类器引导的引导。

实验结果

研究问题

• RQ1 基于无信息先验的带噪扰动似然分数的近似是否能够为带噪线性反问题提供准确的后验采样？
• RQ2 与现有基于扩散的后验（如 DPS、DDNM+）在超分辨率、去噪、去模糊和上色等任务上相比，DMPS 是否提供更快的推理和具有竞争力的还原质量？
• RQ3 在使用预训练扩散模型时，DMPS 在真实世界数据集和分布外样本上的表现如何？
• RQ4 DMPS 对变化的噪声水平与测量算子 A 的鲁棒性特性是什么？

主要发现

• DMPS 在受噪声影响的任务（如超分辨率、去噪、去模糊和上色）上实现竞争力或更优的 PSNR、FID 和 LPIPS 指标。
• DMPS 在每次函数评估上的速度约比扩散后验采样（DPS）方法快约 3 倍。
• 该方法对噪声具有鲁棒性，在定性比较中比 DPS 产生更自然的着色。
• 在使用预训练 ADM 扩散模型评估时，DMPS 在分布内和分布外数据集上保持出色性能。