[论文解读] A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising

Kaixuan Wei, Ying Fu+2 more|arXiv (Cornell University)|Mar 28, 2020

Image and Signal Denoising Methods参考文献 57被引用 15

一句话总结

本文提出了一种基于物理的噪声生成模型，用于极端低光照原始图像去噪，能够精确捕捉CMOS传感器的噪声源，如光子散粒噪声、像素电路噪声和量化噪声，从而实现高度逼真的合成数据生成。通过为多种相机校准噪声参数，该模型使仅在合成数据上训练的神经网络在性能上达到或优于在配对真实数据上训练的模型，显著提升了在不同相机设备间的泛化能力。

ABSTRACT

Lacking rich and realistic data, learned single image denoising algorithms generalize poorly to real raw images that do not resemble the data used for training. Although the problem can be alleviated by the heteroscedastic Gaussian model for noise synthesis, the noise sources caused by digital camera electronics are still largely overlooked, despite their significant effect on raw measurement, especially under extremely low-light condition. To address this issue, we present a highly accurate noise formation model based on the characteristics of CMOS photosensors, thereby enabling us to synthesize realistic samples that better match the physics of image formation process. Given the proposed noise model, we additionally propose a method to calibrate the noise parameters for available modern digital cameras, which is simple and reproducible for any new device. We systematically study the generalizability of a neural network trained with existing schemes, by introducing a new low-light denoising dataset that covers many modern digital cameras from diverse brands. Extensive empirical results collectively show that by utilizing our proposed noise formation model, a network can reach the capability as if it had been trained with rich real data, which demonstrates the effectiveness of our noise formation model.

研究动机与目标

• 为解决在合成数据上训练的单图像去噪网络在极端低光照条件下泛化能力差的问题。
• 识别并建模CMOS传感器中被忽视的电子噪声源，这些噪声源会降低低光照成像性能。
• 开发一种可复现的校准方法，用于从任意现代数码相机中估计噪声参数。
• 评估所提出的噪声模型在多种相机品牌和型号上的有效性与泛化能力。

提出的方法

• 作者采用细粒度的、基于物理的方法对原始图像中的噪声进行建模，考虑了CMOS传感器中的光子散粒噪声、像素电路噪声和量化噪声。
• 设计了一条合成图像处理流水线，模拟完整的电子成像过程，包含极端低光照条件下的真实噪声特性。
• 提出了一种简单且可复现的校准方法，仅使用干净的原始图像和少量带噪图像，即可估计相机特定的噪声参数。
• 通过仅使用所提模型生成的合成数据训练U-Net架构的去噪网络，对噪声模型进行了验证。
• 在新收集的涵盖四大主要相机品牌的极端低光照去噪（ELD）数据集上评估了该方法，包括智能手机和单反相机。
• 性能与同方差和异方差高斯模型，以及在SID数据集上配对真实数据训练的模型进行了对比。

实验结果

研究问题

• RQ1 能否通过捕捉CMOS传感器特异性噪声源的基于物理的噪声模型，提升合成低光照原始图像的真实性？
• RQ2 与现有基于高斯的模型相比，所提出的噪声模型在不同相机设备间的泛化能力如何？
• RQ3 仅在所提模型生成的合成数据上训练的神经网络，在性能上能与在配对真实数据上训练的模型相当或超越到何种程度？
• RQ4 模型性能对噪声参数校准精度的敏感程度如何？是否可在极少重新校准的情况下实现跨设备泛化？

主要发现

• 仅在所提基于物理的噪声模型生成的合成数据上训练的神经网络，其性能达到或优于在SID数据集上配对真实数据训练的网络。
• 该模型显著减少了条带伪影和色彩失真，这些是现有基于高斯的噪声模型在极端低光照条件下存在的显著问题。
• 在ELD数据集上，所提方法优于传统去噪算法（BM3D、A-BM3D）以及在单一相机品牌真实数据上训练的模型。
• 由于其灵活的噪声参数校准流程，该模型在多种相机设备（包括智能手机和单反相机）上表现出良好的泛化能力。
• 通过使用MIT5K数据集中的额外干净原始图像进行训练，进一步提升了色彩和亮度恢复效果，证明了该方法的可扩展性和鲁棒性。
• 即使不重新校准，仅从先前校准过的设备中采样噪声参数，也可使在某一相机上训练的模型在其他相机上实现相当的性能。