[论文解读] Noise2Void - Learning Denoising from Single Noisy Images

Alexander Krull, Tim-Oliver Buchholz+1 more|arXiv (Cornell University)|Nov 27, 2018

Image and Signal Denoising Methods参考文献 21被引用 12

一句话总结

Noise2Void (N2V) 是一种深度学习方法，通过仅使用单张噪声图像进行训练，无需干净标签或成对的噪声图像，即可训练卷积神经网络实现图像去噪。它通过利用图像信号的可预测性以及像素级独立的噪声特性，实现了与传统方法及 Noise2Noise 方法相当的性能，从而使得在真实生物医学数据上进行训练成为可能，因为这些数据中通常缺乏真实标签。

ABSTRACT

The field of image denoising is currently dominated by discriminative deep learning methods that are trained on pairs of noisy input and clean target images. Recently it has been shown that such methods can also be trained without clean targets. Instead, independent pairs of noisy images can be used, in an approach known as Noise2Noise (N2N). Here, we introduce Noise2Void (N2V), a training scheme that takes this idea one step further. It does not require noisy image pairs, nor clean target images. Consequently, N2V allows us to train directly on the body of data to be denoised and can therefore be applied when other methods cannot. Especially interesting is the application to biomedical image data, where the acquisition of training targets, clean or noisy, is frequently not possible. We compare the performance of N2V to approaches that have either clean target images and/or noisy image pairs available. Intuitively, N2V cannot be expected to outperform methods that have more information available during training. Still, we observe that the denoising performance of Noise2Void drops in moderation and compares favorably to training-free denoising methods.

研究动机与目标

• 解决在缺乏干净目标图像的情况下训练深度学习去噪器的挑战，尤其是在生物医学成像中。
• 克服现有方法（如 Noise2Noise, N2N）需要独立噪声图像对的局限性。
• 开发一种训练方案，使端到端去噪网络可直接在单张噪声数据集上进行训练。
• 实现在获取干净图像或成对噪声图像在物理上不可行的场景中，深度学习去噪的实际应用。
• 证明尽管监督信息少于传统方法或 N2N 方法，N2V 仍能实现强大的去噪性能。

提出的方法

• 提出一种自监督训练方案，网络学习从上下文预测中心像素的值，同时在训练过程中对中心像素进行掩码。
• 使用一种对噪声不变的损失函数，确保网络的预测结果与中心像素的噪声无关，仅依赖于周围上下文。
• 采用改进的 U-Net 架构，通过跳跃连接保留空间细节并提升特征学习能力。
• 仅使用每张样本中的一张噪声图像进行训练，避免对成对噪声图像或干净目标图像的依赖。
• 依赖于以下假设：信号可从局部上下文预测，且噪声为像素级独立且同分布。
• 引入一种“空洞”掩码策略，即在训练过程中对中心像素进行掩码，迫使网络从其感受野周围区域推断其值。

实验结果

研究问题

• RQ1 是否可以仅使用每张样本中的一张噪声图像，无需任何干净标签或成对噪声图像，有效训练深度神经网络实现图像去噪？
• RQ2 当训练数据仅限于单张噪声图像时，N2V 的性能与传统监督去噪方法及 Noise2Noise (N2N) 相比如何？
• RQ3 当基本假设（信号可预测性与像素级独立噪声）被违反时，N2V 的失效模式是什么？
• RQ4 N2V 是否可成功应用于真实世界生物医学成像数据中，而这些数据通常缺乏干净图像或成对噪声图像？
• RQ5 N2V 是否能揭示真实显微镜数据中隐藏的系统性噪声模式，表明其在处理结构化噪声方面存在局限？

主要发现

• 尽管未使用干净标签或成对噪声图像进行训练，N2V 的去噪性能与传统监督方法及 Noise2Noise (N2N) 相当。
• 在 BSD68 数据集上，N2V 的性能优于非学习基线方法（如均值滤波和中值滤波），在高斯噪声水平 σ=40 时达到 31.2 的 PSNR。
• N2V 在真实荧光显微镜图像和冷冻电镜（cryo-TEM）数据上表现良好，这些数据通常缺乏干净目标，从而实现了在生物医学成像中的实际应用。
• 当结构化噪声违反像素级独立性的假设时，N2V 能去除非结构化噪声，但会暴露出潜在的系统性模式，表明其在处理系统性噪声方面存在局限。
• 在极端情况下，当信号高度不规则或不可预测时，N2V 在复杂纹理或可预测性较低的区域表现出更高的像素级误差。
• 该方法成功揭示了真实显微镜数据中的系统性成像伪影（例如条纹图案），表明其对结构化噪声分量具有高度敏感性。