[论文解读] CycleISP: Real Image Restoration via Improved Data Synthesis

Syed Waqas Zamir, Aditya Arora+5 more|arXiv (Cornell University)|Mar 17, 2020

Image and Signal Denoising Methods参考文献 63被引用 23

一句话总结

本文提出CycleISP，一种设备无关的框架，可学习将sRGB图像与RAW图像相互转换，从而实现真实感合成数据生成，用于真实图像去噪。通过在该数据上进行训练，作者在真实世界基准测试（DND和SIDD）中取得了最先进性能，模型参数量仅为先前方法的1/5（260万参数），且在未见过的相机传感器上表现出更优的泛化能力。

ABSTRACT

The availability of large-scale datasets has helped unleash the true potential of deep convolutional neural networks (CNNs). However, for the single-image denoising problem, capturing a real dataset is an unacceptably expensive and cumbersome procedure. Consequently, image denoising algorithms are mostly developed and evaluated on synthetic data that is usually generated with a widespread assumption of additive white Gaussian noise (AWGN). While the CNNs achieve impressive results on these synthetic datasets, they do not perform well when applied on real camera images, as reported in recent benchmark datasets. This is mainly because the AWGN is not adequate for modeling the real camera noise which is signal-dependent and heavily transformed by the camera imaging pipeline. In this paper, we present a framework that models camera imaging pipeline in forward and reverse directions. It allows us to produce any number of realistic image pairs for denoising both in RAW and sRGB spaces. By training a new image denoising network on realistic synthetic data, we achieve the state-of-the-art performance on real camera benchmark datasets. The parameters in our model are ~5 times lesser than the previous best method for RAW denoising. Furthermore, we demonstrate that the proposed framework generalizes beyond image denoising problem e.g., for color matching in stereoscopic cinema. The source code and pre-trained models are available at https://github.com/swz30/CycleISP.

研究动机与目标

• 解决合成数据（如AWGN）与真实相机噪声在图像去噪任务中的领域差距问题。
• 克服现有合成数据生成方法的局限性，后者假设为加性白高斯噪声，无法建模信号相关、经过图像处理管线转换的噪声。
• 开发一种无需依赖相机特定参数即可在RAW和sRGB空间中生成真实感干净/噪声图像对的方法。
• 训练一个轻量化、高性能的去噪网络，使其在真实世界数据集上具有良好的泛化能力。
• 展示CycleISP框架在去噪之外的更广泛应用，例如在立体电影中的色彩匹配。

提出的方法

• 提出基于CycleGAN的框架CycleISP，无需相机特定元数据，即可在sRGB与RAW图像空间之间双向学习映射关系。
• 采用双分支网络结构，结合通道注意力与空间注意力机制，以提升特征表示能力与重建保真度。
• 通过先将干净的sRGB图像经由学习到的CycleISP模型转换为RAW图像，再在RAW图像中注入噪声，实现真实噪声的合成。
• 在配对的合成数据（干净RAW/sRGB → 噪声RAW/sRGB）上训练去噪网络，使其学习逆转噪声注入过程。
• 利用CycleISP的设备无关特性，从公开的sRGB图像中生成多样化、真实感强的训练数据。
• 将CycleISP框架应用于立体电影中的色彩匹配，通过RAW空间转换，将目标视角的色彩特征迁移至源视角。

实验结果

研究问题

• RQ1 设备无关的图像翻译模型能否有效弥合sRGB与RAW领域之间的差距，实现在低层次视觉任务中的真实感数据合成？
• RQ2 在CycleISP生成的合成数据上进行训练，是否能相比基于AWGN的合成数据，在真实世界去噪基准上实现更好的泛化性能？
• RQ3 所提出的框架能否拓展至去噪之外的其他低层次视觉问题，例如3D电影中的色彩匹配？
• RQ4 去噪网络的架构，特别是注意力机制，如何影响性能与参数效率？
• RQ5 CycleISP框架在图像恢复任务中，能在多大程度上减少合成数据与真实数据之间的领域偏移？

主要发现

• 所提出的去噪网络在DND数据集（RAW）上达到40.44 dB的PSNR，在sRGB上达到36.16 dB，优于先前最先进方法。
• 在SIDD基准测试中，直接评估时模型达到50.14 dB的PSNR，当在DND上微调后，相比之前最佳方法UPI提升1 dB。
• 该去噪模型仅包含260万个参数，相比之前最佳方法（1180万个参数）减少5倍，同时保持更优性能。
• 消融实验证实，通道注意力与空间注意力机制均至关重要，两者并行使用时性能最佳。
• CycleISP框架在立体电影色彩匹配任务中也表现出良好泛化能力，在3D电影数据集上达到36.60 dB的PSNR，优于现有方法。
• 模型展现出强大的零样本泛化能力：在DND上训练并在SIDD上评估时，相比UPI方法提升1 dB的PSNR，表明对领域偏移具有强鲁棒性。