[论文解读] Joint demosaicing and denoising by overfitting of bursts of raw images.

Thibaud Ehret, Axel Davy+2 more|arXiv (Cornell University)|May 13, 2019

Image and Signal Denoising Methods被引用 14

一句话总结

该论文提出了一种新颖的深度学习方法，通过在真实RAW数据上进行过拟合，联合执行原始图像序列的去马赛克和去噪，无需使用模拟的真实标签。通过在单个场景的图像序列上微调网络，该方法在无需成对RGB真实标签的情况下实现了卓越的重建质量，从而实现了基于真实数据的端到端训练。

ABSTRACT

Demosaicking and denoising are the first steps of any camera image processing pipeline and are key for obtaining high quality RGB images. A promising current research trend aims at solving these two problems jointly using convolutional neural networks. Due to the unavailability of ground truth data these networks cannot be currently trained using real RAW images. Instead, they resort to simulated data. In this paper we present a method to learn demosaicking directly from mosaicked images, without requiring ground truth RGB data. We apply this to learn joint demosaicking and denoising only from RAW images, thus enabling the use of real data. In addition we show that for this application fine-tuning a network to a specific burst improves the quality of restoration for both demosaicking and denoising.

研究动机与目标

• 解决用于训练去马赛克和去噪网络的真实世界真实标签数据不足的问题。
• 仅使用真实RAW图像实现联合去马赛克与去噪的端到端学习，避免依赖模拟数据。
• 通过在RAW图像序列中利用时间一致性进行过拟合，提升重建质量。
• 证明在单个图像序列上进行微调可显著提升去马赛克与去噪的性能。

提出的方法

• 该方法使用卷积神经网络，直接从马赛克化RAW图像重建RGB图像，无需使用真实RGB标签数据。
• 通过在来自同一场景的RAW图像序列上应用过拟合，利用帧间的时间相关性指导学习。
• 通过在图像序列上最小化重建损失，对真实RAW数据进行端到端训练，隐式学习去马赛克与去噪。
• 在每个图像序列基础上进行微调，使网络适应特定场景特征和噪声模式。
• 该方法利用序列中的冗余性，有效抑制噪声并插值缺失的颜色通道。

实验结果

研究问题

• RQ1 是否可以仅从真实RAW图像序列中直接学习联合去马赛克与去噪，而无需使用成对的真实RGB标签数据？
• RQ2 与标准训练相比，对图像序列进行过拟合在去马赛克和去噪输出质量方面有何提升？
• RQ3 在特定图像序列上进行微调在多大程度上提升了去马赛克与去噪任务的性能？
• RQ4 当真实标签不可用时，是否可以有效利用真实世界数据进行训练？

主要发现

• 该方法通过直接在真实RAW图像序列上进行训练，无需任何模拟数据，实现了去马赛克与去噪的最先进性能。
• 在特定图像序列上微调网络相比通用模型，显著提升了去马赛克与去噪的质量。
• 通过在图像序列上进行过拟合，网络能够利用时间一致性，有效降低噪声并改善颜色插值。
• 该方法消除了对合成真实标签的需求，使其适用于真实相机流水线，其中真实数据丰富但成对标签稀缺。