[论文解读] High-Quality Self-Supervised Deep Image Denoising

Samuli Laine, Tero Karras+2 more|arXiv (Cornell University)|Jan 29, 2019

Image and Signal Denoising Methods参考文献 38被引用 34

一句话总结

一种自监督去噪框架，使用盲点卷积网络和贝叶斯后处理，在高斯、泊松和脉冲噪声下无需清洁目标或成对数据即可实现接近监督质量的结果。它还能够处理未知的噪声参数和可变的噪声水平。

ABSTRACT

We describe a novel method for training high-quality image denoising models based on unorganized collections of corrupted images. The training does not need access to clean reference images, or explicit pairs of corrupted images, and can thus be applied in situations where such data is unacceptably expensive or impossible to acquire. We build on a recent technique that removes the need for reference data by employing networks with a "blind spot" in the receptive field, and significantly improve two key aspects: image quality and training efficiency. Our result quality is on par with state-of-the-art neural network denoisers in the case of i.i.d. additive Gaussian noise, and not far behind with Poisson and impulse noise. We also successfully handle cases where parameters of the noise model are variable and/or unknown in both training and evaluation data.

研究动机与目标

• 在没有干净参考且数据只有嘈杂图像时，研究去噪的动机。
• 提出盲点卷积网络架构，使自监督训练无需掩蔽惩罚。
• 在测试时引入贝叶斯后处理步骤，将嘈杂的中心像素和噪声模型纳入考量。
• 展示在不同噪声模型下对未知或可变噪声参数（如 σ、λ、α）的鲁棒性。
• 与有监督基线及基于掩蔽的自监督方法进行比较，以确立性能权衡。

提出的方法

• 使用其感受野不包含中心像素的盲点网络，从而能够用单个嘈杂图像进行训练。
• 训练将 p(x|Ω_y) 建模为均值 μ_x、协方差 Σ_x 的多元高斯分布，从上下文 Ω_y 预测它们。
• 通过将噪声模型 p(y|x) 与学习得到的先验 p(x|Ω_y) 结合，推导出闭式后验 p(x|y,Ω_y)，并使用后验均值进行去噪。
• 通过上三角矩阵 A_x 参数化 Σ_x，使 Σ_x = A_x^T A_x，以确保半正定性。
• 处理高斯噪声，其中 Σ_y = Σ_x + σ^2 I 且 μ_y = μ_x；可选地对每张图像学习 σ，或用辅助网络预测它。
• 通过合适的噪声模型似然与矩匹配，扩展到泊松和脉冲噪声，以获得训练损失和后验（Eq. 1–10）。
• 使用五层 U-Net 主干，包含三个 1x1 层，在大规模自然图像数据集上训练，并在 Kodak、BSD300 和 Set14 上进行评估。

实验结果

研究问题

• RQ1 在没有配对干净目标的嘈杂图像上进行自监督训练，是否能够在常见噪声模型（高斯、泊松、脉冲）下实现接近有监督方法的去噪质量？
• RQ2 如何在不进行掩蔽的情况下高效训练盲点架构，贝叶斯后验平均如何提升去噪性能？
• RQ3 未知或可变的噪声参数（σ、λ、α）是否会降低性能，是否能在训练期间学习或估计？
• RQ4 在先验中建模多变量相关性（Σ_x）与简化为对角协方差相比，影响何在？
• RQ5 所提出的方法在质量和训练效率方面与 Noise2C、Noise2Noise 以及基于掩蔽的自监督方法相比如何？

主要发现

• 对于高斯噪声，完全的盲点 + 后验均值方法在很大程度上接近有监督基线（Noise2Clean）和 Noise2Noise，且多变量 Σ_x 优于对角 Σ_x。
• 使用学习得到的 μ_x 和 Σ_x 的后验均值去噪，在多数情形下显著优于仅 μ 的消融和基于掩蔽的训练，尤其是颜色通道联合建模时。
• 当 σ 未知或被估计时，该方法仍具竞争力，即使 σ 变化，方法在不同数据集上仍保持较高的 PSNR，有时略有下降。
• 对于泊松噪声，在固定噪声下，该方法的性能在 0.1–0.2 dB 内接近 Noise2Clean 基线；在未知 λ 情况下仍具鲁棒性，尽管某些数据集（如 Set14）在估计参数时表现出更大降幅。
• 对于脉冲噪声，该方法通过贝叶斯融合显著利用中心像素信息，优于仅 μ 的消融和基于掩蔽的训练，尽管在某些设置下可能略逊于 Noise2Clean 基线。
• 总体而言，所提出的自监督方案在各种噪声模型下都能达到接近有监督模型的去噪质量，同时在训练效率和数据需求方面具有优势。