[论文解读] Low-Light Image and Video Enhancement: A Comprehensive Survey and Beyond

Shen Zheng, Yiling Ma+3 more|arXiv (Cornell University)|Dec 21, 2022

Image Enhancement Techniques被引用 15

一句话总结

本文提出了两个新的数据集——SICE_Grad 和 SICE_Mix，用于混合过曝/欠曝的低光照图像，以及一个高分辨率、多样化的低光照视频数据集 Night Wenzhou，同时对低光照图像与视频增强（LLIE）方法进行了全面调查。该研究评估了最先进技术，识别了关键挑战，并提出了基于深度学习的LLIE未来研究方向，特别强调了实际应用价值与基准测试。

ABSTRACT

This paper presents a comprehensive survey of low-light image and video enhancement, addressing two primary challenges in the field. The first challenge is the prevalence of mixed over-/under-exposed images, which are not adequately addressed by existing methods. In response, this work introduces two enhanced variants of the SICE dataset: SICE_Grad and SICE_Mix, designed to better represent these complexities. The second challenge is the scarcity of suitable low-light video datasets for training and testing. To address this, the paper introduces the Night Wenzhou dataset, a large-scale, high-resolution video collection that features challenging fast-moving aerial scenes and streetscapes with varied illuminations and degradation. This study also conducts an extensive analysis of key techniques and performs comparative experiments using the proposed and current benchmark datasets. The survey concludes by highlighting emerging applications, discussing unresolved challenges, and suggesting future research directions within the LLIE community. The datasets are available at https://github.com/ShenZheng2000/LLIE_Survey.

研究动机与目标

• 为解决当前LLIE方法在处理真实混合过曝/欠曝低光照图像数据集方面表现不佳的问题。
• 克服大规模、高分辨率低光照视频数据集稀缺的问题，以支持训练与评估。
• 对LLIE中的学习策略、网络架构、损失函数和评估指标进行系统性综述。
• 分析低光照增强中的新兴应用及未解决挑战，特别是在目标检测等联合任务和恶劣天气条件下的表现。
• 提出一个统一的基准测试框架，结合所提出的和现有的数据集，用于评估与比较LLIE方法。

提出的方法

• 提出 SICE_Grad 和 SICE_Mix 作为 SICE 数据集的增强版本，专为包含渐变与复杂光照变化的现实混合曝光场景而设计。
• 引入 Night Wenzhou，一个大规模、高分辨率的视频数据集，涵盖在多种低光照条件和退化情况下的快速移动航拍与街景。
• 对LLIE中的学习策略进行分层分类法，将方法划分为监督学习、无监督学习、半监督学习和零样本学习等类别。
• 在基准数据集和所提出数据集上开展广泛的对比实验，评估不同LLIE方法与损失函数的性能表现。
• 分析LLIE流程中的关键组件，包括网络架构（如U-Net、多尺度、注意力机制）、损失函数（如L2、感知损失、VGG-based）以及评估指标（如PSNR、SSIM、NIQE、LPIPS）。
• 探索新兴趋势，如联合增强与检测、近红外（NIR）成像、噪声建模以及低光照环境下的恶劣天气条件应对。

实验结果

研究问题

• RQ1 当前LLIE方法在混合过曝/欠曝图像上的表现如何？现有数据集存在哪些局限性？
• RQ2 开发高效低光照视频增强模型面临的主要挑战是什么？如何通过更优数据加以解决？
• RQ3 在真实低光照数据上，不同学习策略（监督学习、零样本学习、无监督学习）在性能与泛化能力方面如何比较？
• RQ4 在保持自然外观与细节的前提下，哪些网络架构与损失函数最有效于低光照图像与视频的增强？
• RQ5 如何通过联合增强与检测、NIR成像以及噪声建模提升LLIE系统的鲁棒性与实际应用价值？

主要发现

• 所提出的 SICE_Grad 和 SICE_Mix 数据集能有效捕捉复杂的曝光变化，揭示了现有LLIE方法在混合曝光场景下性能显著下降的问题。
• Night Wenzhou 视频数据集为高分辨率、动态低光照视频增强提供了具有挑战性的基准，其特点包括快速运动与多变光照。
• 监督学习方法在基准数据集上达到最先进性能，但其在未见过的复杂低光照条件下的泛化能力仍有限。
• 零样本学习与无监督学习方法在泛化方面展现出潜力，但在标准基准上的定量指标通常无法与监督模型相比。
• 采用光照分配机制的联合增强与检测架构在低光照目标检测中表现出更优性能，且无需依赖低光照专用标注。
• 近红外（NIR）成像技术在实现无闪光、低噪声增强方面具有潜力，但需同步的RGB-NIR采集与先进融合算法以获得最佳效果。