[论文解读] Low-light Image Restoration with Short- and Long-exposure Raw Pairs

Meng Chang, Huajun Feng+2 more|arXiv (Cornell University)|Jul 1, 2020

Advanced Image Processing Techniques参考文献 56被引用 6

一句话总结

本文提出了一种新颖的低光照图像增强方法，利用成对的短曝光与长曝光原始图像，以克服噪声、模糊和色彩失真问题。通过模拟真实的低光照成像流程进行数据生成，并引入一种具有多尺度融合与错位处理能力的 LSFNet 架构，该方法在真实手机设备拍摄的图像中实现了最先进的图像恢复性能，能够还原出清晰、色彩准确的图像。

ABSTRACT

Low-light imaging with handheld mobile devices is a challenging issue. Limited by the existing models and training data, most existing methods cannot be effectively applied in real scenarios. In this paper, we propose a new low-light image restoration method by using the complementary information of short- and long-exposure images. We first propose a novel data generation method to synthesize realistic short- and longexposure raw images by simulating the imaging pipeline in lowlight environment. Then, we design a new long-short-exposure fusion network (LSFNet) to deal with the problems of low-light image fusion, including high noise, motion blur, color distortion and misalignment. The proposed LSFNet takes pairs of shortand long-exposure raw images as input, and outputs a clear RGB image. Using our data generation method and the proposed LSFNet, we can recover the details and color of the original scene, and improve the low-light image quality effectively. Experiments demonstrate that our method can outperform the state-of-the art methods.

研究动机与目标

• 解决现有低光照图像增强方法仅关注去噪或去模糊的问题，这些方法在真实手机设备图像上往往表现不佳。
• 通过模拟实际低光照成像流程（包括传感器噪声和运动模糊），生成更真实的短曝光与长曝光原始图像对。
• 设计一种鲁棒的融合网络，有效处理图像对之间的错位、鬼影现象以及信息融合问题。
• 通过结合两种曝光类型提供的互补信息，提升低光照条件下的图像视觉质量和保真度。
• 在合成数据集和真实世界低光照图像数据集上均实现最先进性能。

提出的方法

• 设计了一套真实的图像生成流程，模拟完整的低光照成像过程，包括传感器级噪声和运动模糊，以合成成对的短曝光与长曝光原始图像。
• 所提出的 LSFNet 架构采用多尺度编码器-解码器结构，从粗到细逐步重建图像，提升细节恢复能力。
• 网络集成了一个错位感知模块，用于校正短曝光与长曝光图像之间的空间错位。
• 引入鬼影伪影抑制模块，以最小化因运动不一致或曝光差异导致的虚假结构。
• 融合网络直接处理原始图像，以保留动态范围并避免经过 ISP 变换导致的信息损失。
• 采用端到端训练策略，结合感知损失与重建损失，以优化图像的视觉质量与结构保真度。

实验结果

研究问题

• RQ1 对低光照成像流程进行真实模拟，是否能提升低光照图像增强模型在真实手机设备数据上的泛化能力？
• RQ2 深度神经网络在多大程度上能有效融合短曝光（低噪声、清晰）与长曝光（高噪声、模糊）原始图像中的互补信息？
• RQ3 所提出的 LSFNet 在保留精细纹理与动态范围的同时，能在多大程度上减少噪声、模糊与色彩失真？
• RQ4 所提出的方法是否在合成数据集与真实世界低光照图像增强基准测试中均优于现有最先进方法？
• RQ5 当输入图像对受到高噪声或严重运动模糊影响时，该方法在计算成本与鲁棒性方面存在哪些权衡？

主要发现

• 在 256×256 输入图像块上，该方法达到 30.70 dB 的 PSNR，优于先前方法如 LSD 2（29.97 dB）与 SRN（26.23 dB）。
• LSFNet 在视觉质量方面表现最佳，具有丰富的纹理细节，鬼影现象极少，色彩还原准确，尤其在存在过曝区域的复杂场景中表现突出。
• 通过利用短曝光图像提供的信息，该方法能有效恢复过曝区域的细节，这是单图去模糊或去噪方法无法实现的。
• 与曝光融合基线方法相比，LSFNet 生成的图像更清晰、对比度更高，且未放大输入图像中的噪声或伪影。
• 该模型计算成本适中（38.0 GFLOPs），参数量仅 8.4M，优于参数量更大的模型如 LSD 2（31.0M 参数）。
• 在极端低光照条件下（高噪声与高模糊），该方法仍优于其他对比方法，尽管在纹理区域可能出现伪影，表明仍需进一步提升鲁棒性。