[论文解读] Residual Contrastive Learning for Joint Demosaicking and Denoising.

Nanqing Dong, Matteo Maggioni+4 more|arXiv (Cornell University)|Jun 18, 2021

Seismic Imaging and Inversion Techniques参考文献 36被引用 12

一句话总结

本文提出残差对比学习（RCL），一种新颖的自监督方法，通过利用信号相关噪声特性，实现RAW图像中联合去马赛克与去噪（JDD）任务。通过使用残差和地球移动距离（EMD）对比来自同一图像的图像块，RCL在未知噪声方差的无监督JDD任务中达到新的SOTA基准，证明了对比学习在RAW领域低层次视觉任务中的可行性。

ABSTRACT

The breakthrough of contrastive learning (CL) has fueled the recent success of self-supervised learning (SSL) in high-level vision tasks on RGB images. However, CL is still ill-defined for low-level vision tasks, such as joint demosaicking and denoising (JDD), in the RAW domain. To bridge this methodological gap, we present a novel CL approach on RAW images, residual contrastive learning (RCL), which aims to learn meaningful representations for JDD. Our work is built on the assumption that noise contained in each RAW image is signal-dependent, thus two crops from the same RAW image should have more similar noise distribution than two crops from different RAW images. We use residuals as a discriminative feature and the earth mover's distance to measure the distribution divergence for the contrastive loss. To evaluate the proposed CL strategy, we simulate a series of unsupervised JDD experiments with large-scale data corrupted by synthetic signal-dependent noise, where we set a new benchmark for unsupervised JDD tasks with unknown (random) noise variance. Our empirical study not only validates that CL can be applied on distributions (c.f. features), but also exposes the lack of robustness of previous non-ML and SSL JDD methods when the statistics of the noise are unknown, thus providing some further insight into signal-dependent noise problems.

研究动机与目标

• 解决RAW领域中低层次视觉任务（如联合去马赛克与去噪，JDD）缺乏有效自监督学习方法的问题。
• 克服无监督JDD中噪声方差未知或随机带来的挑战，该问题削弱了以往非机器学习方法与自监督学习方法的鲁棒性。
• 通过利用信号相关噪声特性，设计适用于RAW图像分布的对比学习框架。
• 在大规模数据上使用合成的、信号相关的噪声污染，建立无监督JDD的新基准。
• 验证对比学习可被有意义地应用于噪声分布，而不仅限于特征嵌入，用于低层次视觉任务。

提出的方法

• 提出残差对比学习（RCL），一种专为JDD任务中RAW图像设计的对比学习框架。
• 使用来自同一张RAW图像的残差作为正样本对，假设其因信号相关噪声而具有相似的噪声分布。
• 应用地球移动距离（EMD）来度量正样本对与负样本对之间噪声残差的分布差异。
• 基于来自同一图像（正样本）与不同图像（负样本）的残差之间的EMD构建对比损失，以促进判别性表征学习。
• 端到端训练深度神经网络，使用RCL损失从RAW传感器数据中联合学习去马赛克与去噪，无需成对监督。
• 通过合成的、信号相关的噪声模拟大规模无监督JDD数据，以在真实、未知噪声方差条件下评估该方法。

实验结果

研究问题

• RQ1 对比学习能否在RAW图像的噪声分布上有效应用于低层次视觉任务？
• RQ2 利用信号相关噪声特性是否能提升联合去马赛克与去噪任务的表征学习能力？
• RQ3 当噪声统计未知或变化时，RCL相较于现有非机器学习方法与自监督学习方法表现如何？
• RQ4 自监督对比学习方法能否在未知噪声方差的无监督JDD任务中实现最先进性能？
• RQ5 使用残差和EMD作为对比损失机制对RAW图像恢复中表征质量有何影响？

主要发现

• RCL在未知或随机噪声方差条件下，建立了无监督联合去马赛克与去噪任务的新SOTA基准。
• 该方法表明，对比学习可有效应用于噪声分布，而不仅限于特征嵌入，从而在低层次视觉任务中实现鲁棒的表征学习。
• 实证结果表明，以往用于JDD的非机器学习方法与自监督学习方法在噪声统计未知时显著缺乏鲁棒性，凸显了现有方法的关键局限。
• 使用残差作为判别性特征可捕捉有意义的噪声模式，提升对比损失的判别能力。
• 地球移动距离（EMD）能有效度量噪声残差之间的分布差异，从而实现稳定且有意义的对比优化。
• 所提出的RCL框架在具有信号相关噪声的大规模合成数据上表现出良好的泛化能力，验证了其可扩展性与鲁棒性。