[论文解读] Learning to See in the Dark

Chen Chen, Qifeng Chen+2 more|arXiv (Cornell University)|May 4, 2018

Advanced Image Processing Techniques参考文献 26被引用 43

一句话总结

该论文为极端低光成像引入 See-in-the-Dark (SID) 数据集，并训练端到端的全卷积网络在原始传感器数据上工作，以改善单图像低光视频的降噪和色彩准确性，优于传统流水线和去噪后基线。

ABSTRACT

Imaging in low light is challenging due to low photon count and low SNR. Short-exposure images suffer from noise, while long exposure can induce blur and is often impractical. A variety of denoising, deblurring, and enhancement techniques have been proposed, but their effectiveness is limited in extreme conditions, such as video-rate imaging at night. To support the development of learning-based pipelines for low-light image processing, we introduce a dataset of raw short-exposure low-light images, with corresponding long-exposure reference images. Using the presented dataset, we develop a pipeline for processing low-light images, based on end-to-end training of a fully-convolutional network. The network operates directly on raw sensor data and replaces much of the traditional image processing pipeline, which tends to perform poorly on such data. We report promising results on the new dataset, analyze factors that affect performance, and highlight opportunities for future work. The results are shown in the supplementary video at https://youtu.be/qWKUFK7MWvg

研究动机与目标

• 在传统流水线无法胜任的极端低光环境下，推动快速且高质量成像。
• 提供一个真实、公开可用的原始低光图像数据集，具有长曝光的真值（SID）。
• 开发一个端到端可学习的管线，对原始传感器数据进行处理，生成感知上令人满意的低光图像。
• 评估端到端的原始数据处理与传统的降噪及 burst/成像方法的比较。
• 探索跨相机的泛化能力以及实时或近实时处理的潜力。

提出的方法

• 训练端到端的全卷积网络（FCN），直接在原始传感器数据上工作，替代传统处理模块（demosaicing、降噪、颜色转换）。
• 将 Bayer 与 X-Trans 传感器数据打包成多通道输入，在网络处理之前进行黑电平减除并应用外部放大比（类似 ISO），并使用子像素层恢复全分辨率。
• 评估两种核心架构（CAN 与 U-net），实验中 U-net 在颜色和 PSNR 上表现更好。
• 使用 L1 损失对网络进行训练，采用带有地面实况长曝光参考、数据增强和相机特异模型。
• 通过感知性 A/B 测试（MTurk）评估与传统流水线、BM3D 降噪以及理想化 burst 降噪的性能对比。
• 研究设计选择（输入颜色打包、损失函数，以及训练中未进行直方图拉伸）及其对图像质量的影响。

实验结果

研究问题

• RQ1 在 <0.1 lux 的照度下，基于原始低光传感器数据运行的端到端 FCN 是否能从 1/30 到 1/10 秒曝光恢复出感知上较高质量的图像？
• RQ2 在感知质量和定量指标方面，整条流水线在原始数据上的学习与传统流水线以及后处理去噪或 burst 方法相比有何差异？
• RQ3 在极端低光条件下，哪种网络架构与数据表示最能保留色彩与细节？
• RQ4 原始数据处理在不同相机（传感器类型）之间是否具有可迁移性，还是需要相机特定的模型？
• RQ5 哪些因素（放大比、打包方案、损失函数）对性能和泛化影响最大？

主要发现

• SID 提供覆盖室内和户外场景的 5094 张原始短曝光图像，附带长曝光真值。
• 基于端到端 FCN 的原始数据处理优于传统流水线，实现显著的降噪和正确的颜色转换。
• 与 BM3D 和理想化的 burst 降噪相比，SID 基于的流水线在感知性测试中的 x300 数据上显著优于其他方法。
• 在 SID 数据上，U-net 架构在颜色恢复和 PSNR 上优于 CAN。
• 在极端低光条件下，直接在原始传感器数据上工作比在 sRGB 输出上工作更为有效。
• 一些限制包括 SID 缺乏动态场景，以及需要相机特定模型；实时全分辨率处理仍然具有挑战性。