[论文解读] Real-World Denoising via Diffusion Model

Cheng Yang, Lijing Liang+1 more|arXiv (Cornell University)|May 8, 2023

Image and Signal Denoising Methods被引用 6

一句话总结

该论文提出了一种用于真实世界图像去噪的通用扩散模型，通过在干净图像与噪声图像之间进行线性插值来控制扩散过程中的噪声水平。通过采用简单的U-Net结构并结合两种采样策略——原始采样（Origin Sampling）与改进采样（Improve Sampling），该方法在基准数据集上实现了最先进性能，优于许多基于Transformer的模型，同时通过噪声插值实现的数据增强，保持了较强的鲁棒性。

ABSTRACT

Real-world image denoising is an extremely important image processing problem, which aims to recover clean images from noisy images captured in natural environments. In recent years, diffusion models have achieved very promising results in the field of image generation, outperforming previous generation models. However, it has not been widely used in the field of image denoising because it is difficult to control the appropriate position of the added noise. Inspired by diffusion models, this paper proposes a novel general denoising diffusion model that can be used for real-world image denoising. We introduce a diffusion process with linear interpolation, and the intermediate noisy image is interpolated from the original clean image and the corresponding real-world noisy image, so that this diffusion model can handle the level of added noise. In particular, we also introduce two sampling algorithms for this diffusion model. The first one is a simple sampling procedure defined according to the diffusion process, and the second one targets the problem of the first one and makes a number of improvements. Our experimental results show that our proposed method with a simple CNNs Unet achieves comparable results compared to the Transformer architecture. Both quantitative and qualitative evaluations on real-world denoising benchmarks show that the proposed general diffusion model performs almost as well as against the state-of-the-art methods.

研究动机与目标

• 为解决将扩散模型应用于真实世界图像去噪的挑战，其中噪声水平非均匀且复杂。
• 开发一种可泛化的扩散框架，能够在不依赖噪声分布先验知识的情况下处理自然图像中的可变噪声水平。
• 通过在扩散过程中引入受控噪声插值，将扩散过程作为数据增强手段，提升去噪模型的鲁棒性。
• 评估两种采样算法——原始采样（Origin Sampling）与改进采样（Improve Sampling）——在真实世界去噪任务中的性能表现。
• 证明基于扩散训练的简单U-Net架构在真实世界去噪任务中可达到甚至超越更复杂基于Transformer的模型性能。

提出的方法

• 前向扩散过程通过在干净图像与其对应的现实世界噪声图像之间进行线性插值，生成不同噪声水平的中间噪声图像。
• 反向过程通过使用U-Net架构逐步预测并去除每一步的噪声，实现图像的逐步去噪。
• 提出两种采样算法：原始采样（Origin Sampling），一种基础的反向采样流程；以及改进采样（Improve Sampling），通过引入改进措施以弥补第一种方法的局限性。
• 模型通过端到端训练，使用去噪损失最小化每个时间步上预测噪声与真实噪声之间的差异。
• 扩散过程通过生成训练图像的多样化噪声版本，作为数据增强技术，提升模型对真实世界噪声变化的鲁棒性。
• 该方法无需显式噪声水平图或复杂的噪声建模，而是依赖插值来控制噪声强度。

实验结果

研究问题

• RQ1 扩散模型能否被有效适配于真实世界图像去噪任务，其中噪声为非高斯且空间可变？
• RQ2 在干净图像与噪声图像之间进行线性插值，如何实现对扩散过程中噪声水平的更好控制？
• RQ3 在真实世界去噪背景下，不同采样策略（原始采样 vs. 改进采样）的相对性能如何？
• RQ4 扩散过程在多大程度上可作为数据增强手段，提升模型泛化能力？
• RQ5 与更复杂的基于Transformer的模型相比，简单的U-Net架构在真实世界去噪任务中能否实现具有竞争力的性能？

主要发现

• 所提方法在DND基准上实现了最先进性能，最优性能出现在70次扩散步骤时。
• 原始采样方法优于改进采样方法，表明对于本任务而言，更简单的采样策略更具有效性。
• 该模型在性能上可与SOTA基于Transformer的模型相媲美，同时使用了更为简单的U-Net架构。
• 扩散过程有效充当了数据增强技术，通过插值生成的噪声图像提升了模型对不同噪声水平的鲁棒性。
• 定量结果表明，在DND与SIDD基准上均取得了优异的PSNR与SSIM分数，证实了高质量的图像重建能力。
• 定性视觉对比结果表明，该方法在保留精细纹理与结构细节方面表现出显著改进。