[论文解读] Denoising Diffusion Models for Plug-and-Play Image Restoration

Yuanzhi Zhu, Kai Zhang+5 more|arXiv (Cornell University)|May 15, 2023

Advanced Image Processing Techniques被引用 9

一句话总结

DiffPIR 将扩散模型作为可插拔的去噪先验嵌入到 HQS 基于的图像恢复中，在高效采样（≤100 NFEs）下实现超分辨、去模糊和去缺失任务的最先进结果。

ABSTRACT

Plug-and-play Image Restoration (IR) has been widely recognized as a flexible and interpretable method for solving various inverse problems by utilizing any off-the-shelf denoiser as the implicit image prior. However, most existing methods focus on discriminative Gaussian denoisers. Although diffusion models have shown impressive performance for high-quality image synthesis, their potential to serve as a generative denoiser prior to the plug-and-play IR methods remains to be further explored. While several other attempts have been made to adopt diffusion models for image restoration, they either fail to achieve satisfactory results or typically require an unacceptable number of Neural Function Evaluations (NFEs) during inference. This paper proposes DiffPIR, which integrates the traditional plug-and-play method into the diffusion sampling framework. Compared to plug-and-play IR methods that rely on discriminative Gaussian denoisers, DiffPIR is expected to inherit the generative ability of diffusion models. Experimental results on three representative IR tasks, including super-resolution, image deblurring, and inpainting, demonstrate that DiffPIR achieves state-of-the-art performance on both the FFHQ and ImageNet datasets in terms of reconstruction faithfulness and perceptual quality with no more than 100 NFEs. The source code is available at {\url{https://github.com/yuanzhi-zhu/DiffPIR}}

研究动机与目标

• 以生成式扩散先验取代判别式高斯去噪器来实现灵活的即插即用图像恢复，并提供动机与实现路径。
• 通过 HQS 将数据保真项与先验项解耦，以在通用降解框架中引入扩散模型先验。
• 开发一种高效的扩散采样方法，在每一步反向扩散中结合测量信息。
• 在 FFHQ 和 ImageNet 的多种 IR 任务上展示最先进的重建保真性与感知质量。
• 提供分析与消融，展示 DiffPIR 重建的效率与多样性。

提出的方法

• 使用 HQS 将优化分解为先验距离去噪子问题和数据一致性近端子问题。
• 将扩散模型视为生成去噪先验，作为先验子问题求解 z_k ≈ x_k + ((1−ᾱ_t)/ᾱ_t) s_θ(x_t,t)，其中 s_θ 是分数网络。
• 通过解析或一阶近似的近端解来求解数据子问题，获得满足降解模型 H(x) 与测量 y 的 x̂_0^(t)。
• 在 DDIM 风格的反向扩散步骤中将测量 y 纳入，以利用 x̂_0^(t)(y) 和改正后的噪声项从 x_t 生成 x_{t−1}。
• 引入噪声平衡超参数 ζ，在采样过程中调节注入的噪声，从而实现保真与多样性的可控权衡。
• 提供一种近似封闭形式的采样更新，将估计的 x̂_0^(t)(y) 与预测噪声 ε̂ 以及新的高斯噪声混合，以完成每一步反向扩散。

实验结果

研究问题

• RQ1 扩散模型是否能在 HQS 框架中作为有效的可插拔去噪器，用于通用的图像恢复任务？
• RQ2 在扩散步骤中整合测量信息（通过 DDIM 风格更新）是否能实现跨 SR、去模糊与去缺失任务的快速、保真且感知质量高的恢复？
• RQ3 DiffPIR 与现有的基于扩散的与判别去噪器可插拔方法在 PSNR、FID、LPIPS 上在标准数据集上的对比如何？
• RQ4 NFEs 与初始化策略对恢复质量和重建多样性有何影响？
• RQ5 一个无需训练、预训练的扩散模型能否作为多降解算子 H 的通用 IR 先验？

主要发现

• DiffPIR 在 FFHQ 和 ImageNet 的高斯与运动去模糊以及 4× SR 任务上，具备优越的感知质量（更低的 LPIPS、FID）和有竞争力的 PSNR。
• 在 ≤100 NFEs 下，DiffPIR 在多项任务与数据集上优于若干扩散基方法与即插即用先验。
• DiffPIR 能产生多样且语义对齐的重建，去缺失任务中对大遮罩尤为明显。
• 在无噪声设定下，DiffPIR 以 100 NFEs 的表现超越竞争对手在 FID 与 LPIPS，而即使只有 20 NFEs 也保持竞争力。
• 该方法通过基于 DDIM 的更新实现快速采样，并且可以从部分带噪状态开始以在不损失质量的前提下降低 NFEs。
• 分析显示平衡参数 ζ 控制采样过程中的多样性与保真度，使重建结果具有可控性。