[论文解读] CVF-SID: Cyclic multi-Variate Function for Self-Supervised Image Denoising by Disentangling Noise from Image

Reyhaneh Neshatavar, Mohsen Yavartanoo+2 more|arXiv (Cornell University)|Mar 24, 2022

Image and Signal Denoising Methods被引用 9

一句话总结

CVF-SID 提出了一种自监督图像去噪方法，利用循环多变量函数（CVF）从真实世界 sRGB 输入中解耦干净图像、信号相关噪声和信号无关噪声，而无需成对的噪声-干净数据。通过利用自监督损失和数据增强，该方法在 SIDD 基准上实现了最先进性能，优于现有的自监督和无监督方法，同时在无需对噪声分布做先验假设的前提下，保持了对真实世界噪声的泛化能力。

ABSTRACT

Recently, significant progress has been made on image denoising with strong supervision from large-scale datasets. However, obtaining well-aligned noisy-clean training image pairs for each specific scenario is complicated and costly in practice. Consequently, applying a conventional supervised denoising network on in-the-wild noisy inputs is not straightforward. Although several studies have challenged this problem without strong supervision, they rely on less practical assumptions and cannot be applied to practical situations directly. To address the aforementioned challenges, we propose a novel and powerful self-supervised denoising method called CVF-SID based on a Cyclic multi-Variate Function (CVF) module and a self-supervised image disentangling (SID) framework. The CVF module can output multiple decomposed variables of the input and take a combination of the outputs back as an input in a cyclic manner. Our CVF-SID can disentangle a clean image and noise maps from the input by leveraging various self-supervised loss terms. Unlike several methods that only consider the signal-independent noise models, we also deal with signal-dependent noise components for real-world applications. Furthermore, we do not rely on any prior assumptions about the underlying noise distribution, making CVF-SID more generalizable toward realistic noise. Extensive experiments on real-world datasets show that CVF-SID achieves state-of-the-art self-supervised image denoising performance and is comparable to other existing approaches. The code is publicly available from https://github.com/Reyhanehne/CVF-SID_PyTorch .

研究动机与目标

• 解决在缺乏成对噪声-干净训练数据的情况下，真实世界图像去噪的挑战。
• 克服现有自监督方法对噪声分布假设过于严格或需要特定图像格式（如 raw-RGB）的局限性。
• 开发一种无需事先了解噪声特性知识的、可泛化的去噪框架，适用于真实世界 sRGB 图像。
• 通过引入新型损失函数和数据增强策略，实现仅使用噪声图像的端到端自监督训练。
• 设计一种循环多变量函数（CVF），通过迭代优化实现对干净图像和多种噪声分量的解耦。

提出的方法

• 引入一种循环多变量函数（CVF），将输入分解为多个分量（干净图像、信号相关噪声、信号无关噪声），然后重新组合并反馈至网络，实现迭代优化。
• 设计一种自监督图像解耦去噪（SID）框架（CVF-SID），利用一致性、恒等性、零激活和正则化损失，在无真实标签的情况下训练网络。
• 提出一种自监督数据增强策略，通过操纵图像特征生成多样化训练样本，同时保持噪声结构不变。
• 在噪声建模中使用相关性参数 γ 来处理信号相关噪声，消融实验表明在 γ=1 时性能最优，适用于乘法噪声。
• 采用循环架构训练网络，其中一次前向传播的输出作为下一次的输入，确保每个分量通过迭代优化逐步净化。
• 采用多流网络架构，每个流分别预测一个解耦分量：干净图像、信号相关噪声和信号无关噪声。

(a)

实验结果

研究问题

• RQ1 自监督框架能否在无需任何成对训练数据的情况下，有效从真实世界 sRGB 图像中解耦干净图像和多种噪声分量？
• RQ2 与标准自编码器或前馈架构相比，所提出的循环多变量函数（CVF）在解耦和去噪性能方面有何提升？
• RQ3 所提出的自监督数据增强策略在提升模型在真实世界数据集上的泛化能力和性能方面，效果如何？
• RQ4 当底层噪声分布偏离标准假设（如 AWGN 或纯乘法噪声）时，该方法的鲁棒性如何？
• RQ5 该框架能否在保持对标准 sRGB 图像格式适用性的同时，实现自监督图像去噪的最先进性能？

主要发现

• 在 SIDD 验证数据集上，CVF-SID 达到 PSNR 34.81 和 SSIM 0.944，优于所有其他自监督和无监督方法。
• 恒等性损失（ℒid）显著提升性能并稳定训练，相比仅使用一致性损失的基线模型，PSNR 提升 1.14 dB。
• 所提出的数据增强策略（B 组）使 PSNR 提升 0.2 dB，证明其在增加训练多样性方面的有效性。
• 消融实验表明，相关性参数 γ=1（即纯乘法噪声）时性能最佳，表明模型在该现实噪声假设下最为有效。
• 视觉结果表明，CVF-SID 能够成功解耦噪声分量，几乎无伪影且保留了精细细节，而 R2R 或 N2V 等方法则会损失纹理或无法恢复干净图像。
• 该方法可直接应用于 sRGB 图像，而 R2R 需要 raw-RGB 输入和预训练的噪声水平函数，因此 CVF-SID 在真实世界部署中更具实用性。

(b)