[论文解读] Training Deep Learning Based Denoisers without Ground Truth Data

Shakarim Soltanayev, Se Young Chun|arXiv (Cornell University)|Mar 4, 2018

Image and Signal Denoising Methods参考文献 58被引用 22

一句话总结

本文提出一种基于Stein无偏风险估计器（SURE）的方法，仅使用已知高斯噪声的噪声图像作为训练数据，无需干净的真值图像，即可训练深度神经网络（DNN）去噪器。该方法使DNN实现的去噪性能可与使用真值图像训练的模型相媲美，并通过SURE-based后处理步骤进一步提升单个测试图像的去噪效果，优于BM3D、Deep Image Prior，且常优于使用真值图像训练的模型。

ABSTRACT

Recently developed deep-learning-based denoisers often outperform state-of-the-art conventional denoisers such as the BM3D. They are typically trained to minimize the mean squared error (MSE) between the output image of a deep neural network (DNN) and a ground truth image. Thus, it is important for deep-learning-based denoisers to use high quality noiseless ground truth data for high performance. However, it is often challenging or even infeasible to obtain noiseless images in some applications. Here, we propose a method based on Stein's unbiased risk estimator (SURE) for training DNN denoisers based only on the use of noisy images in the training data with Gaussian noise. We demonstrate that our SURE-based method, without the use of ground truth data, is able to train DNN denoisers to yield performances close to those networks trained with ground truth for both grayscale and color images. We also propose a SURE-based refining method with a noisy test image for further performance improvement. Our quick refining method outperformed conventional BM3D, deep image prior, and often the networks trained with ground truth. Potential extension of our SURE-based methods to Poisson noise model was also investigated.

研究动机与目标

• 解决在医学成像与遥感成像等场景中，由于难以获取或不切实际而无法获得无噪声真值图像时，训练深度学习去噪器的挑战。
• 开发一种仅使用噪声图像与已知噪声方差的无监督DNN去噪器训练方法，无需成对的干净-噪声图像数据。
• 提出一种基于SURE的优化方法，可在无需额外真值图像的前提下，对单个测试图像进行进一步去噪性能提升。
• 将基于SURE的训练方法扩展至非高斯噪声模型（如泊松噪声），证明其在更广泛场景下的可行性。

提出的方法

• 利用Stein无偏风险估计器（SURE）在未访问真值图像的情况下，估计DNN输出与真实干净图像之间的均方误差（MSE）。
• 将SURE用作训练过程中的损失函数，通过仅使用噪声图像与已知噪声方差，实现DNN的端到端优化。
• 采用SURE梯度的蒙特卡洛近似，使去噪器网络在无监督训练设置下能够进行反向传播。
• 提出一种基于SURE的微调方法（SURE-FT），在单个噪声测试图像上对预训练DNN进行优化，通过适应图像特定结构进一步提升性能。
• 通过建模噪声分布并应用广义SURE，将框架扩展至泊松噪声，证明其在非高斯噪声场景下的可行性。
• 通过权重衰减与网络架构约束，稳定训练过程，防止SURE优化目标发散。

实验结果

研究问题

• RQ1 是否可以仅使用噪声图像与已知噪声统计特性，无需任何干净参考图像，有效训练深度神经网络去噪器？
• RQ2 基于SURE的训练方法能否实现与使用真值数据训练的网络相当的去噪性能？
• RQ3 对单个测试图像进行基于SURE的优化步骤，是否能进一步提升去噪质量，超越常规训练方法？
• RQ4 基于SURE的框架是否可扩展至泊松噪声等非高斯噪声模型？

主要发现

• 所提出的基于SURE的训练方法即使在完全无任何无噪声图像可用的情况下，也能实现与使用干净真值图像训练的DNN相当的去噪性能。
• SURE-FT优化方法显著优于传统的BM3D与Deep Image Prior，且在灰度与彩色图像上常超越使用真值图像训练的模型。
• 对于泊松噪声，基于SURE的训练框架展现出可行性与有效性，将方法的应用范围扩展至高斯噪声之外。
• 该方法在不同图像类型与噪声水平下均表现稳健，在医学成像与高光谱成像等具有挑战性的实际成像场景中亦观察到性能提升。
• SURE-FT方法通过结合大规模预训练的泛化能力与仅使用单张噪声输入的图像特定适应，实现了最先进性能。
• 该方法避免了对复杂网络架构或超参数调优的依赖，与需要特定设计（如U-Net）的Deep Image Prior等方法相比更具优势。