[论文解读] Noise2Noise: Learning Image Restoration without Clean Data

Jaakko Lehtinen, Jacob Munkberg+5 more|arXiv (Cornell University)|Mar 12, 2018

Image and Signal Denoising Methods被引用 982

一句话总结

该论文表明神经网络能够仅用受损（有噪声）的样本学习恢复图像，无需干净目标或显式噪声模型，在多项任务中取得与使用干净数据训练相当或更好的结果。

ABSTRACT

We apply basic statistical reasoning to signal reconstruction by machine learning -- learning to map corrupted observations to clean signals -- with a simple and powerful conclusion: it is possible to learn to restore images by only looking at corrupted examples, at performance at and sometimes exceeding training using clean data, without explicit image priors or likelihood models of the corruption. In practice, we show that a single model learns photographic noise removal, denoising synthetic Monte Carlo images, and reconstruction of undersampled MRI scans -- all corrupted by different processes -- based on noisy data only.

研究动机与目标

• 证明仅从受损数据即可学习图像恢复，无需显式噪声模型或干净目标。
• 展示在多样化任务中，用带噪声的目标进行训练的性能可与用干净目标训练相当。
• 通过强调在有限数据和多种噪声过程下的好处，说明数据收集的实际意义。
• 探讨多种噪声类型（高斯、泊松、伯努利）和逆问题（MRI 重建）以验证该方法。

提出的方法

• 训练神经网络回归器，最小化 L(f_theta(x_hat), y_hat)，其中使用污染输入 x_hat 和污染目标 y_hat，其中 E[y_hat|x_hat] 等于干净目标 y。
• 利用在 L2 损失下，最优预测器等于条件期望的事实，允许用零均值的污染目标替换干净目标而不改变学习到的映射。
• 证明在高斯、泊松，以及伯努利/噪声污染下，带噪声目标的重建效果与干净目标相似或更好。
• 对于蒙特卡罗渲染和 MRI，调整损失函数和输入表示以考虑噪声分布和数据保真度，包括 HDR-aware 损失和谱保持策略。

实验结果

研究问题

• RQ1 当只有受损对可用且没有干净目标时，神经网络能学习恢复图像吗？
• RQ2 不同的噪声模型（高斯、泊松、伯努利、脉冲噪声）是否会影响带噪声目标训练的效果？
• RQ3 带噪声目标的训练对像欠采样 MRI 重建和蒙特卡罗渲染图像这样的反问题有效吗？
• RQ4 有限数据和捕获预算如何影响带噪声目标训练相对于干净目标训练的性能？
• RQ5 在各种污染条件下，哪些损失函数和输入表示最能支持带噪声目标训练？

主要发现

• 在 Kodak、BSD300 和 Set14 数据集上，带噪声目标的去噪性能接近或等同于干净目标训练，在高斯、泊松和伯努利噪声条件下。
• 受损目标在有限数据下可提供优势，使模型接触到更多污染的实现和更多潜在干净图像，有时比干净目标训练带来更好结果。
• 对于蒙特卡罗渲染，带噪声目标训练使 PSNR 与干净目标训练相差约 0.5 dB 内，同时数据生成速度相比要快数千倍。
• 在 MRI 中，带噪声目标的训练在欠采样的 k-space 重建中达到与干净目标训练相当的 PSNR，验证了该方法用于逆问题。
• 不同损失（L2、L1、L0-样式的模式搜索）在各种污染情形下实现鲁棒恢复，基于 L0 的损失在强脉冲噪声下具有优势。
• 在线训练实验表明，在实时训练的带噪声目标去噪器的表现可接近用干净数据训练的模型，且数据生成速度显著更快。