[论文解读] CameraNet: A Two-Stage Framework for Effective Camera ISP Learning

Zhetong Liang, Jianrui Cai+2 more|arXiv (Cornell University)|Aug 5, 2019

Advanced Image Processing Techniques参考文献 38被引用 21

一句话总结

CameraNet 提出了一种两阶段 CNN 框架，将图像信号处理（ISP）解耦为复原与增强两个阶段，分别使用专用的监督信号进行训练，从而提升性能。该方法在 HDR+、SID 和 FiveK 数据集上实现了最先进水平的结果，能够更好地学习复杂的低层次任务（如去噪和色彩校正），同时保持模型效率。

ABSTRACT

Traditional image signal processing (ISP) pipeline consists of a set of individual image processing components onboard a camera to reconstruct a high-quality sRGB image from the sensor raw data. Due to the hand-crafted nature of the ISP components, traditional ISP pipeline has limited reconstruction quality under challenging scenes. Recently, the convolutional neural networks (CNNs) have demonstrated their competitiveness in solving many individual image processing problems, such as image denoising, demosaicking, white balance and contrast enhancement. However, it remains a question whether a CNN model can address the multiple tasks inside an ISP pipeline simultaneously. We make a good attempt along this line and propose a novel framework, which we call CameraNet, for effective and general ISP pipeline learning. The CameraNet is composed of two CNN modules to account for two sets of relatively uncorrelated subtasks in an ISP pipeline: restoration and enhancement. To train the two-stage CameraNet model, we specify two groundtruths that can be easily created in the common workflow of photography. CameraNet is trained to progressively address the restoration and the enhancement subtasks with its two modules. Experiments show that the proposed CameraNet achieves consistently compelling reconstruction quality on three benchmark datasets and outperforms traditional ISP pipelines.

研究动机与目标

• 解决传统手工设计的 ISP 流水线在低光照和高噪声等挑战性条件下累积误差多、性能差的问题。
• 克服单阶段 CNN 模型因混合多种 ISP 子任务而导致学习能力差、表征能力不佳的问题。
• 通过深度学习构建一种通用、高效且可训练的 ISP 流水线，通过分离复原与增强任务实现。
• 通过预处理手段考虑传感器色彩空间差异，实现跨相机模型的泛化能力。
• 通过两阶段模块化设计降低计算复杂度，同时提升重建质量。

提出的方法

• CameraNet 采用两阶段架构：第一阶段专注于复原（去噪、去马赛克），第二阶段专注于增强（色彩校正、色调映射）。
• 定义了两个独立的监督信号——复原目标与增强目标，使每个阶段可独立进行有监督训练。
• 模型训练分为三个阶段：先分别训练复原与增强子网络，随后进行轻量级的联合微调。
• 预处理步骤将 RGB 色彩空间转换为 XYZ 色彩空间，以对齐传感器特有的色彩响应，提升跨相机泛化能力。
• 每个阶段均采用基于 U-Net 的 CNN 架构，以捕捉多尺度特征并保留图像细节。
• 通过解耦弱相关联的 ISP 子任务，实现端到端学习并提升表征能力。

实验结果

研究问题

• RQ1 与单阶段方法相比，两阶段 CNN 框架是否能提升深度学习模型在端到端 ISP 流水线学习中的学习能力？
• RQ2 将复原与增强任务解耦后，对图像重建质量及跨不同相机的模型泛化能力有何影响？
• RQ3 为复原与增强阶段显式定义监督信号，是否能带来优于联合优化所有 ISP 子任务的性能表现？
• RQ4 色彩空间归一化（从 RGB 到 XYZ）在多大程度上提升了 ISP 模型在不同相机间的迁移能力？
• RQ5 两阶段设计是否在保持或提升重建质量的同时降低了计算复杂度？

主要发现

• 在 HDR+ 数据集上，CameraNet 显著优于传统 ISP 流水线和 DeepISP-Net，尤其在高噪声场景下 PSNR 和 SSIM 指标更优。
• 在 SID 数据集上，CameraNet 在 PSNR 和色彩误差指标上显著优于 DeepISP-Net，表明其在低光照条件下具备更强的去噪与色彩准确性。
• 在 FiveK 数据集上，尽管 SSIM 指标相近，CameraNet 仍保持更高的 PSNR 和更低的色彩误差，表明其在复杂色彩处理中具有更高的保真度。
• 在跨相机测试中，CameraNet 在 Nikon D700、Sony A900 和 Canon EOS 子集上均表现出远低于 DeepISP-Net 的色彩误差，证明其泛化能力更强。
• CameraNet 的计算复杂度更低（3306.69 GFLOPS），尽管参数量更大（26.53M vs. 0.629M），表明其单位性能下的效率更高。
• 视觉结果表明，CameraNet 有效抑制了噪声并保留了结构细节，而 DeepISP-Net 放大了噪声并引入了明显的色彩偏差，尤其在新型相机型号上更为明显。