[论文解读] Learning Digital Camera Pipeline for Extreme Low-Light Imaging

Syed Waqas Zamir, Aditya Arora+3 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Image Processing Techniques参考文献 40被引用 17

一句话总结

本文提出了一种端到端的深度学习框架，通过结合像素级、结构化和感知损失，学习整个数码相机处理流程以实现极端低光照成像。该方法将短曝光RAW传感器数据转换为高质量、曝光良好的sRGB图像，显著提升了清晰度、色彩保真度、对比度，并减少了噪声和伪影，在定量指标和心理物理学评估中均优于当前最先进方法。

ABSTRACT

In low-light conditions, a conventional camera imaging pipeline produces sub-optimal images that are usually dark and noisy due to a low photon count and low signal-to-noise ratio (SNR). We present a data-driven approach that learns the desired properties of well-exposed images and reflects them in images that are captured in extremely low ambient light environments, thereby significantly improving the visual quality of these low-light images. We propose a new loss function that exploits the characteristics of both pixel-wise and perceptual metrics, enabling our deep neural network to learn the camera processing pipeline to transform the short-exposure, low-light RAW sensor data to well-exposed sRGB images. The results show that our method outperforms the state-of-the-art according to psychophysical tests as well as pixel-wise standard metrics and recent learning-based perceptual image quality measures.

研究动机与目标

• 为解决传统相机处理流程在极端低光照条件下存在的局限性，这些条件因光子数量少和信噪比差，导致图像过暗、噪声大且对比度低。
• 克服现有基于学习的方法仅依赖像素级损失的不足，这些方法常产生过度平滑或带有伪影的输出。
• 开发一种数据驱动方法，利用大规模低光照数据集，端到端学习从RAW传感器数据到最终sRGB输出的完整相机处理流程。
• 通过结合像素级、结构化和感知损失组件，提升图像视觉质量，确保符合人类感知，同时保留纹理和结构。
• 通过后处理对比度增强流程提升图像对比度和色彩鲜艳度，该流程包括图像反转、去雾处理和亮度恢复。

提出的方法

• 该方法采用一种新型混合损失函数，结合ℓ₁、MS-SSIM和特征级感知损失（L_feat），以平衡像素精度、结构保持和感知质量。
• 网络训练分为两个阶段：首先在标准真实图像上训练4000个周期，然后使用对比度增强的真实图像进行100个周期的微调，以提升亮度和色彩保真度。
• 推理后应用对比度增强流程：将输出图像反转，使用去雾算法（如[13]）处理，再反转回来，以生成更明亮、更鲜艳且无伪影的图像。
• 损失函数被表述为加权和形式：L_total = α·L₁ + β·L_MS-SSIM + γ·L_feat，其中α、β、γ为调节不同目标间权衡的超参数。
• 该框架在See-in-the-Dark（SID）数据集上进行训练，该数据集提供成对的短曝光（低光照）和长曝光（真实值）图像，用于监督学习。
• 模型端到端学习完整的相机处理流程，包括去马赛克、去噪、色彩校正、色调映射和锐化，无需依赖人工设计的先验知识。

实验结果

研究问题

• RQ1 与标准ℓ₁损失或仅感知损失相比，结合像素级、结构化和感知损失的混合损失函数是否能显著提升低光照图像恢复的视觉质量？
• RQ2 所提出的基于反转和去雾的对比度增强流程如何提升低光照图像输出的感知质量？
• RQ3 与仅在标准真实图像上训练相比，使用对比度增强真实图像进行微调在多大程度上提升了最终图像质量？
• RQ4 该方法是否在客观指标和人类感知研究中均优于现有基于学习的方法？
• RQ5 所提出的端到端网络是否能在不依赖手工设计模块的情况下，学习到完整且符合人类感知的相机处理流程？

主要发现

• 所提方法在定量指标和心理物理学评估中均优于Chen等人[3]的最先进方法，观察者一致更偏好其输出结果。
• ℓ₁、MS-SSIM和L_feat损失的组合效果最佳，各分量分别解决特定问题：ℓ₁提升色彩丰富度，MS-SSIM保留纹理，L_feat减少棋盘状伪影。
• 对比度增强流程显著提升了图像亮度和色彩鲜艳度，有效缓解了先前方法中常见的暗淡和沉闷问题。
• 当应用于Chen等人[3]的方法时，该对比度流程会放大已有伪影；而应用于本方法时，可增强输出且未引入新失真。
• 表3的消融实验确认，每个损失分量均有独特贡献，其组合在PSNR和视觉质量上均表现更优。
• 最终模型生成的图像更清晰、更鲜艳，且无噪声和色彩伪影，如定性对比（图1d）和图7所示。