[论文解读] Plug-and-Play image restoration with Stochastic deNOising REgularization

Marien Renaud, Jean Prost+2 more|arXiv (Cornell University)|Feb 1, 2024

Photoacoustic and Ultrasonic Imaging被引用 1

一句话总结

本文提出 SNORE（Stochastic deNOising REgularization），一种新颖的即插即用（Plug-and-Play）图像复原框架，该框架在每次迭代中对当前图像估计的噪声版本应用预训练的去噪器，确保去噪器在其训练噪声分布范围内运行。该方法在理论上保证了收敛性，并在去模糊和图像修复任务中实现了最先进性能，优于标准 PnP 方法及基于扩散模型的方法，在定性和定量基准测试中均表现更优。

ABSTRACT

Plug-and-Play (PnP) algorithms are a class of iterative algorithms that address image inverse problems by combining a physical model and a deep neural network for regularization. Even if they produce impressive image restoration results, these algorithms rely on a non-standard use of a denoiser on images that are less and less noisy along the iterations, which contrasts with recent algorithms based on Diffusion Models (DM), where the denoiser is applied only on re-noised images. We propose a new PnP framework, called Stochastic deNOising REgularization (SNORE), which applies the denoiser only on images with noise of the adequate level. It is based on an explicit stochastic regularization, which leads to a stochastic gradient descent algorithm to solve ill-posed inverse problems. A convergence analysis of this algorithm and its annealing extension is provided. Experimentally, we prove that SNORE is competitive with respect to state-of-the-art methods on deblurring and inpainting tasks, both quantitatively and qualitatively.

研究动机与目标

• 解决标准即插即用（PnP）方法的局限性，即去噪器应用于越来越干净的图像，导致分布偏移。
• 开发一种理论基础坚实的 PnP 算法，通过在每次迭代中注入噪声，保持去噪器的有效性。
• 弥合扩散模型的高质量结果与 PnP 方法理论收敛保证之间的差距。
• 通过将输入噪声水平与去噪器的噪声水平匹配，确保去噪器在其训练域内运行。
• 提供一种随机正则化框架，以提升病态图像逆问题中鲁棒性与收敛性。

提出的方法

• SNORE 引入了一种随机正则化项，定义为图像噪声版本上平滑对数先验的期望值，替代标准的负对数先验。
• 在每次迭代中，算法生成一个噪声版本 ˜xk = xk + σϵ，其中 ϵ ∼ N(0, Id)，并将去噪器 Dσ 应用于该噪声图像。
• 该方法使用一种随机梯度下降算法（算法 2）来最小化变分目标，其中去噪步骤替代了正则化的近端算子。
• 提出了一种退火变体（算法 3），受退火重要性采样启发，以提升收敛性与稳定性。
• 理论分析证明，在有界性假设下，该算法几乎必然收敛，并为不精确去噪器提供了误差界。
• 该框架兼容基于近端与基于梯度的 PnP 方案，支持与现有求解器的灵活集成。

实验结果

研究问题

• RQ1 在 PnP 框架中，每次迭代向图像注入噪声是否能提升去噪器应用与训练分布的一致性？
• RQ2 当去噪器应用于噪声水平与训练分布匹配的图像时，是否能实现更好的收敛性与复原质量？
• RQ3 随机正则化框架能否在保持与扩散模型相当性能的同时，实现理论上的收敛保证？
• RQ4 SNORE 迭代过程中图像估计的噪声水平如何演变，是否稳定在去噪器的噪声水平附近？
• RQ5 使用不精确或非最小均方误差（MMSE）去噪器对 SNORE 算法的收敛性与最终图像质量有何影响？

主要发现

• SNORE 在去模糊与图像修复任务中实现了最先进性能，优于标准 PnP 方法及近期基于扩散模型的方法，在定量指标与视觉质量方面均表现更优。
• SNORE 迭代过程中噪声水平收敛至去噪器的噪声水平 σ，证实去噪器在其预期分布域内运行。
• 相比之下，RED 在收敛时仍存在输入噪声水平与去噪器噪声水平之间的持续偏移，表明存在分布偏移。
• SNORE 的退火版本通过逐步降低噪声水平，在早期迭代中显著提升了收敛性与稳定性。
• 理论分析证实，在有界性假设下，随机梯度下降算法几乎必然收敛，并为不精确去噪器提供了误差界。
• SNORE 对图像估计中的残余噪声表现出鲁棒性，噪声估计结果收敛至自然噪声水平。