[论文解读] Generating Training Data for Denoising Real RGB Images via Camera Pipeline Simulation

Ronnachai Jaroensri, Camille Biscarrat+2 more|arXiv (Cornell University)|Apr 18, 2019

Computer Graphics and Visualization Techniques参考文献 29被引用 26

一句话总结

本文提出了一种逼真的相机处理流水线仿真器，能够准确模拟真实RGB图像中的噪声和退化，包括去马赛克、去噪和压缩。通过使用该仿真器生成训练数据，基于CNN的去噪器在真实JPEG图像上的PSNR性能相比使用加性白高斯噪声（AWGN）训练的模型提升了3 dB以上，证明了逼真的噪声建模对于基于学习的图像复原方法泛化能力至关重要。

ABSTRACT

Image reconstruction techniques such as denoising often need to be applied to the RGB output of cameras and cellphones. Unfortunately, the commonly used additive white noise (AWGN) models do not accurately reproduce the noise and the degradation encountered on these inputs. This is particularly important for learning-based techniques, because the mismatch between training and real world data will hurt their generalization. This paper aims to accurately simulate the degradation and noise transformation performed by camera pipelines. This allows us to generate realistic degradation in RGB images that can be used to train machine learning models. We use our simulation to study the importance of noise modeling for learning-based denoising. Our study shows that a realistic noise model is required for learning to denoise real JPEG images. A neural network trained on realistic noise outperforms the one trained with AWGN by 3 dB. An ablation study of our pipeline shows that simulating denoising and demosaicking is important to this improvement and that realistic demosaicking algorithms, which have been rarely considered, is needed. We believe this simulation will also be useful for other image reconstruction tasks, and we will distribute our code publicly.

研究动机与目标

• 解决由于训练数据（通常为AWGN）与真实世界相机噪声之间不匹配所导致的基于学习的图像去噪性能差距。
• 开发一种逼真模拟完整相机处理链的仿真流水线，包括去马赛克、去噪和压缩。
• 研究逼真噪声建模对基于深度学习的去噪模型在真实世界JPEG图像上泛化能力的影响。
• 证明使用逼真仿真数据训练的模型在真实测试图像上的性能优于传统的基于AWGN的训练方法。

提出的方法

• 实现一个包含40多个可配置组件的模块化相机处理流水线仿真器，包括去马赛克、去噪、色调映射和压缩。
• 通过使用真实相机参数定制流水线，将RAW图像转换为与消费级智能手机输出一致的视觉逼真RGB JPEG图像。
• 通过调整流水线参数（尤其是噪声和去马赛克特性）生成多样化的训练数据集。
• 在逼真仿真数据和AWGN数据上分别训练最先进的CNN去噪器（如N3Net），以进行对比评估。
• 通过系统性地禁用组件（去马赛克、去噪、后处理）进行消融研究，评估其对性能的贡献。
• 使用PSNR和SSIM在多个设备（Pixel XL、iPhone 8、Samsung Galaxy S7）的真实测试图像上评估模型性能。

实验结果

研究问题

• RQ1 在训练数据中采用逼真噪声建模，对基于深度学习的去噪器在真实世界JPEG图像上的性能有何影响？
• RQ2 相机处理流水线中的哪些组件（如去马赛克、去噪、压缩）对生成逼真训练数据最为关键？
• RQ3 去马赛克算法的选择（如双线性与边缘感知型）如何影响仿真数据的质量及后续去噪性能？
• RQ4 基于仿真数据的训练方法是否能在泛化到真实相机输出方面优于标准的基于AWGN的训练方法？
• RQ5 移除特定流水线阶段（如去噪或去马赛克）在多大程度上会降低训练后去噪器在真实图像上的性能？

主要发现

• 在本文提出的相机处理流水线仿真器生成的数据上进行训练的CNN去噪器，在真实iPhone 8 JPEG图像上达到35.2 dB的PSNR，相比AWGN训练的模型高出3 dB。
• 若在仿真流水线中移除去噪或去马赛克组件，性能显著下降，PSNR分别降至34.0 dB和33.9 dB。
• 在流水线中使用边缘感知型去马赛克算法（Kodak和AHD）相比常用的双线性去马赛克，可实现2.3 dB的PSNR增益。
• 当使用双线性去马赛克而非AHD时，SSIM分数下降超过0.07，证实逼真去马赛克对高质量去噪至关重要。
• 消融研究证实，逼真模拟去马赛克和去噪过程均必不可少，否则在真实数据上会出现泛化性能差的问题。
• 在去噪经去马赛克的RAW图像时，仿真器生成的数据相比基于AWGN的训练在PSNR上提升7–9 dB，SSIM提升0.2–0.3，凸显了逼真预处理的重要性。