[论文解读] Diffusion Model for Generative Image Denoising

Yutong Xie, Minne Yuan+2 more|arXiv (Cornell University)|Feb 5, 2023

Image and Signal Denoising Methods被引用 12

一句话总结

该论文将图像去噪重新表述为从后验 x|y 的采样，使用任务特定的扩散过程，并为高斯、伽玛和泊松噪声训练生成式去噪模型。它展示了具竞争力的定性结果，并为每种噪声类型提供训练/采样算法。

ABSTRACT

In supervised learning for image denoising, usually the paired clean images and noisy images are collected or synthesised to train a denoising model. L2 norm loss or other distance functions are used as the objective function for training. It often leads to an over-smooth result with less image details. In this paper, we regard the denoising task as a problem of estimating the posterior distribution of clean images conditioned on noisy images. We apply the idea of diffusion model to realize generative image denoising. According to the noise model in denoising tasks, we redefine the diffusion process such that it is different from the original one. Hence, the sampling of the posterior distribution is a reverse process of dozens of steps from the noisy image. We consider three types of noise model, Gaussian, Gamma and Poisson noise. With the guarantee of theory, we derive a unified strategy for model training. Our method is verified through experiments on three types of noise models and achieves excellent performance.

研究动机与目标

• 将去噪动机定位为后验分布估计，以避免标准监督学习造成的过度平滑。
• 引入一个扩散模型框架，其前向过程与所给的噪声模型对齐。
• 为高斯、伽玛和泊松噪声的去噪任务开发训练与采样算法。
• 在多种噪声类型下的灰度图像数据集上证明可行性以及定性/定量收益。

提出的方法

• 在已知噪声模型（高斯、伽玛、泊松）下，定义一个将 x0（清晰）映射到 xN（有噪声）的噪声一致扩散过程。
• 构建一个逆向马尔可夫链 p_theta(x_t|x_{t+1},x_N) 以通过算法1–7采样 q(x0|xN)。
• 推导基于ELBO的训练目标，并给出对每种噪声类型，目标简化为后验均值的简单L2损失。
• 使用神经网络 f(x_{t+1}, t+1; theta) 来近似后验均值并引导采样。
• 为高斯、伽玛、泊松噪声提供明确的训练与采样程序（算法2–7）。
• 证明最小化KL散度等价于以 x0 作为目标时最小化L2损失。

实验结果

研究问题

• RQ1 基于扩散的框架能否通过从观测到的有噪声图像出发来采样后验 x|y 以实现去噪？
• RQ2 如何将扩散过程针对高斯、伽玛和泊松噪声模型进行定制，以实现高效去噪？
• RQ3 将扩散过程与底层噪声模型对齐是否能提升去噪性能并比标准监督方法更好地保留细节？
• RQ4 在此扩散去噪范式中，每个噪声模型的训练目标和采样算法是什么？

主要发现

• 所提出的扩散去噪框架可在高斯、伽玛和泊松噪声下，从给定有噪声输入条件下的清晰图像后验分布进行采样。
• 训练简化为后验均值上的L2损失，在不同噪声模型间获得一致的目标。
• 定性结果显示，在 Kodak 和 CSet9 灰度数据集上，生成样本比标准监督基线具有更清晰的细节。
• 定量结果（PSNR/SSIM）在表1中给出，显示监督学习与生成样本之间存在差距，后者提供更具观感的结果。
• 实验验证了跨多种噪声模型的扩散式生成去噪的可行性。