[论文解读] IDR: Self-Supervised Image Denoising via Iterative Data Refinement

Yi Zhang, Dasong Li+4 more|arXiv (Cornell University)|Nov 29, 2021

Image and Signal Denoising Methods被引用 5

一句话总结

本文提出IDR，一种自监督图像去噪方法，通过噪声模型和逐步改进的训练目标，迭代优化含噪图像，在真实世界、合成及相关噪声场景下均取得最先进性能，且无需干净图像对。该方法在无监督去噪中表现优于现有方法，甚至超越部分有监督方法，归因于通过迭代优化减少了数据分布偏差。

ABSTRACT

The lack of large-scale noisy-clean image pairs restricts supervised denoising methods' deployment in actual applications. While existing unsupervised methods are able to learn image denoising without ground-truth clean images, they either show poor performance or work under impractical settings (e.g., paired noisy images). In this paper, we present a practical unsupervised image denoising method to achieve state-of-the-art denoising performance. Our method only requires single noisy images and a noise model, which is easily accessible in practical raw image denoising. It performs two steps iteratively: (1) Constructing a noisier-noisy dataset with random noise from the noise model; (2) training a model on the noisier-noisy dataset and using the trained model to refine noisy images to obtain the targets used in the next round. We further approximate our full iterative method with a fast algorithm for more efficient training while keeping its original high performance. Experiments on real-world, synthetic, and correlated noise show that our proposed unsupervised denoising approach has superior performances over existing unsupervised methods and competitive performance with supervised methods. In addition, we argue that existing denoising datasets are of low quality and contain only a small number of scenes. To evaluate raw image denoising performance in real-world applications, we build a high-quality raw image dataset SenseNoise-500 that contains 500 real-life scenes. The dataset can serve as a strong benchmark for better evaluating raw image denoising. Code and dataset will be released at https://github.com/zhangyi-3/IDR

研究动机与目标

• 解决真实世界应用中大规模含噪-干净图像对缺乏的问题，以支持有监督去噪。
• 克服现有无监督去噪方法的局限性，这些方法或性能不足，或需要不切实际的数据设置（如成对含噪图像）。
• 开发一种实用的自监督去噪框架，仅需单张含噪图像与噪声模型，适用于真实原始图像处理场景。
• 通过迭代优化，减少合成更噪-含噪数据集与理想干净-含噪分布之间的分布偏移（数据偏差）。
• 构建一个高质量基准数据集，用于真实世界原始图像去噪，以支持更可靠的评估。

提出的方法

• 通过在现有含噪图像上添加已知噪声模型生成的合成噪声，构建更噪-含噪数据集，将生成图像作为输入，原始含噪图像作为目标。
• 在更噪-含噪数据集上训练去噪网络，并利用该网络对原始含噪图像进行去噪，生成下一轮迭代的优化目标。
• 迭代过程有效减少合成训练分布与理想干净-含噪分布之间的数据偏差，逐步提升模型性能。
• 提出IDR的快速变体，通过减少每轮训练周期数以提升效率，同时保持高性能。
• 该方法利用经验发现：在更噪-含噪数据上训练的模型可泛化至真实含噪图像的去噪任务。
• 构建了一个新的高质量原始图像去噪数据集SenseNoise-500，包含500个多样化的低光照场景与高保真度真实值，用于评估。

实验结果

研究问题

• RQ1 在存在分布偏移的情况下，基于合成更噪-含噪图像对训练的去噪模型是否能泛化至真实含噪图像？
• RQ2 通过模型预测迭代优化训练目标，是否能有效减少数据偏差并提升去噪性能？
• RQ3 仅使用单张含噪图像与噪声模型的自监督去噪方法，能否实现与有监督方法相当的性能？
• RQ4 当在相同噪声模型下使用合成数据进行训练时，无监督去噪方法的性能与有监督方法相比如何？
• RQ5 数据集内容偏差在多大程度上影响有监督与无监督去噪方法之间的性能差距？

主要发现

• IDR在真实世界与合成噪声（包括条纹噪声、乘性噪声等关联噪声类型）上均优于现有无监督去噪方法。
• 在SID原始图像数据集上，IDR平均PSNR达到34.17 dB，尽管仅采用自监督学习，仍超越在未处理sRGB图像上训练的有监督方法（34.68 dB）。
• 当使用高质量、内容匹配的训练数据时，无监督与有监督方法之间的性能差距依然存在，但显著缩小。
• 迭代优化过程有效减少了数据分布偏差，使每轮迭代后的去噪模型性能逐步提升。
• SenseNoise-500是一个包含500个真实生活场景与对齐真实值的高质量数据集，为真实世界原始图像去噪提供了稳健的基准。
• 定性结果表明，IDR能更好地恢复纹理与色彩，同时保持高去噪质量，尤其在低光照条件下表现更优。