[论文解读] GibbsDDRM: A Partially Collapsed Gibbs Sampler for Solving Blind Inverse Problems with Denoising Diffusion Restoration

Naoki Murata, Koichi Saito+5 more|arXiv (Cornell University)|Jan 30, 2023

Image and Signal Denoising Methods被引用 7

一句话总结

GibbsDDRM 提出了一种部分坍塌的吉布斯采样器，将去噪扩散恢复模型扩展至盲反问题，其中线性测量算子未知。通过利用预训练的扩散模型作为数据先验，并对算子参数使用通用先验，该方法实现了无需微调或学习算子先验的问题无关、高性能重建，在盲图像去模糊和语音去混响任务中表现优异。

ABSTRACT

Pre-trained diffusion models have been successfully used as priors in a variety of linear inverse problems, where the goal is to reconstruct a signal from noisy linear measurements. However, existing approaches require knowledge of the linear operator. In this paper, we propose GibbsDDRM, an extension of Denoising Diffusion Restoration Models (DDRM) to a blind setting in which the linear measurement operator is unknown. GibbsDDRM constructs a joint distribution of the data, measurements, and linear operator by using a pre-trained diffusion model for the data prior, and it solves the problem by posterior sampling with an efficient variant of a Gibbs sampler. The proposed method is problem-agnostic, meaning that a pre-trained diffusion model can be applied to various inverse problems without fine-tuning. In experiments, it achieved high performance on both blind image deblurring and vocal dereverberation tasks, despite the use of simple generic priors for the underlying linear operators.

研究动机与目标

• 解决线性测量算子未知的盲反问题，这是成像与音频处理中的常见挑战。
• 克服现有方法需为算子参数训练扩散模型的局限，从而限制实际适用性。
• 通过在不同反问题中复用单一预训练扩散模型，实现问题无关的推理，无需重新训练。
• 开发一种高效的后验采样框架，联合估计干净数据与未知线性算子参数。
• 仅使用算子参数的通用先验实现高质量重建，避免使用复杂的基于数据的先验。

提出的方法

• 利用预训练的扩散模型作为数据先验，对算子参数使用非信息性先验，构建数据、观测与线性算子参数的联合后验分布。
• 采用部分坍塌吉布斯采样器（PCGS）实现高效后验采样，通过将难以处理的条件分布替换为可处理的近似形式。
• 在数据（或潜在变量）与线性算子参数之间交替采样，利用生成模型的表征能力在参数更新中提升性能。
• 使用带得分估计的拉姆齐动力学采样算子参数，稳定推理过程。
• 通过去噪扩散模型的得分推理，引导数据与算子参数的后验采样。
• 通过避免在不同反问题中对预训练扩散模型进行微调，保持问题无关的推理能力。

实验结果

研究问题

• RQ1 是否可以有效利用预训练的扩散模型解决盲反问题，而无需为线性算子学习或微调先验？
• RQ2 部分坍塌吉布斯采样器在联合数据与算子估计中如何提升后验采样效率与稳定性？
• RQ3 线性算子参数的通用先验在盲反问题中能在多大程度上实现高质量重建？
• RQ4 与最先进方法 BlindDPS 相比，GibbsDDRM 在高噪声条件下的感知质量与鲁棒性如何？
• RQ5 该方法是否能在无需架构或分布适应的情况下，泛化至图像去模糊与音频去混响等多样化反问题？

主要发现

• GibbsDDRM 在感知质量方面优于对比方法，在 FFHQ 数据集上 LPIPS 得分为 0.115，表明其与真实图像的感知相似性更优。
• 在盲图像去模糊任务中，GibbsDDRM 在最优超参数下实现 PSNR 39.28 与 FID 25.64，尽管仅使用通用先验，仍表现出强大性能。
• 在语音去混响任务中，GibbsDDRM 实现了高质量的信号恢复，提升了信号接近度并有效去除了混响，优于基线方法。
• 算子参数的拉姆齐采样策略相比 MAP 估计更具稳定性，表现为在 1000 张测试图像上 PSNR 与 LPIPS 的直方图更窄。
• 即使在高测量噪声（σy = 1.0×10−3）条件下，该方法仍能恢复出忠实图像，尤其适用于大模糊核情况。
• 超参数调优表明，LPIPS 最优设置与 PSNR 最优设置不同，表明感知质量与峰值信噪比之间存在权衡。