[论文解读] Low-Light Image and Video Enhancement Using Deep Learning: A Survey

Chongyi Li, Chunle Guo+5 more|arXiv (Cornell University)|Apr 21, 2021

Image Enhancement Techniques参考文献 17被引用 30

一句话总结

本综述评估基于深度学习的低光图像与视频增强方法、数据集、损失函数和平台，并引入一个新的数据集和一个在线评估平台。

ABSTRACT

Low-light image enhancement (LLIE) aims at improving the perception or interpretability of an image captured in an environment with poor illumination. Recent advances in this area are dominated by deep learning-based solutions, where many learning strategies, network structures, loss functions, training data, etc. have been employed. In this paper, we provide a comprehensive survey to cover various aspects ranging from algorithm taxonomy to open issues. To examine the generalization of existing methods, we propose a low-light image and video dataset, in which the images and videos are taken by different mobile phones' cameras under diverse illumination conditions. Besides, for the first time, we provide a unified online platform that covers many popular LLIE methods, of which the results can be produced through a user-friendly web interface. In addition to qualitative and quantitative evaluation of existing methods on publicly available and our proposed datasets, we also validate their performance in face detection in the dark.This survey together with the proposed dataset and online platform could serve as a reference source for future study and promote the development of this research field. The proposed platform and dataset as well as the collected methods, datasets, and evaluation metrics are publicly available and will be regularly updated.

研究动机与目标

• 综述用于深度学习LLIE方法的学习策略、网络架构、损失函数和数据集。
• 分析对真实世界低光条件的泛化性并识别尚待解决的问题。
• 介绍一个具有跨设备照明的低光图像/视频数据集，以及一个用于评估的在线平台。
• 提供推进LLIE研究和促进基准测试的指南与见解。

提出的方法

• 按学习策略对LLIE方法进行分类（监督、强化、无监督、零-shot、半监督）。
• 讨论代表性的端到端、深度Retinex基础以及现实数据驱动的监督方法。
• 描述受Retinex启发及其他估计光照与反射成分的网络设计。
• 给出现实世界、跨设备的LLIE数据集以及视频LLIE数据集，并在适用情况下给出半监督与零-shot方法。
• 引入一个在线平台，使对多种LLIE方法在输入图像上的评估变得用户友好且无需GPU。
• 总结常用的损失函数（重建、感知、平滑、对抗、曝光）和数据格式（RGB 和 raw）。

实验结果

研究问题

• RQ1 基于深度学习的 LLIE 方法在真实世界、跨设备低光数据上的泛化能力如何？
• RQ2 哪些学习策略、网络设计和损失函数在多样条件下能实现鲁棒的 LLIE 性能？
• RQ3 基于 Retinex 的模型在实践中是否具有优势，结合深度网络时有哪些局限性？
• RQ4 一个统一的在线平台和多样化的数据集是否能加速LLIE的研究与基准测试？

主要发现

• 监督学习仍是主流方法，占所分析方法的73%。
• 网络结构混合使用，U-Net 类和多分支架构较为常见；受 Retinex 启发的设计被广泛探索。
• RGB 是主导的数据格式，但 raw 数据对于高动态范围和色彩保真度提升很有价值。
• 常见损失包括 L1/L2、SSIM、感知和光滑度损失；诸如曝光损失等无参考损失对泛化很重要。
• 讨论了若干现实世界数据集（如 SID、DRV、MIT-Adobe FiveK）和用于改进泛化的合成数据策略；并作为基准介绍了一个在线平台和一个新的跨设备 LLIE 数据集。
• 该综述在黑暗条件下的人脸检测上对方法进行了验证，突出显示 LLIE 对高级视觉任务的影响。