[论文解读] Kindling the Darkness: A Practical Low-light Image Enhancer

Yonghua Zhang, Jiawan Zhang+1 more|arXiv (Cornell University)|May 4, 2019

Image Enhancement Techniques参考文献 31被引用 84

一句话总结

KinD 将低光图像分解为照明与反射，以分别调整光线和去除退化，使用配对曝光训练，实现快速、灵活的增强，无需地面实测的照明/反射分量。

ABSTRACT

Images captured under low-light conditions often suffer from (partially) poor visibility. Besides unsatisfactory lightings, multiple types of degradations, such as noise and color distortion due to the limited quality of cameras, hide in the dark. In other words, solely turning up the brightness of dark regions will inevitably amplify hidden artifacts. This work builds a simple yet effective network for extbf{Kin}dling the extbf{D}arkness (denoted as KinD), which, inspired by Retinex theory, decomposes images into two components. One component (illumination) is responsible for light adjustment, while the other (reflectance) for degradation removal. In such a way, the original space is decoupled into two smaller subspaces, expecting to be better regularized/learned. It is worth to note that our network is trained with paired images shot under different exposure conditions, instead of using any ground-truth reflectance and illumination information. Extensive experiments are conducted to demonstrate the efficacy of our design and its superiority over state-of-the-art alternatives. Our KinD is robust against severe visual defects, and user-friendly to arbitrarily adjust light levels. In addition, our model spends less than 50ms to process an image in VGA resolution on a 2080Ti GPU. All the above merits make our KinD attractive for practical use.

研究动机与目标

• 提倡实用的低光增强，在提亮、去除退化和效率之间取得平衡。
• 利用基于 Retinex 的分解来分离照明和反射，便于学习。
• 实现无需地面实测的反射/照明图即可进行任意照明调整。
• 开发一个恢复模块，在提亮过程中放大时抑制的伪影。
• 在常见基准数据集上展示超越现有方法的优势。

提出的方法

• 引入 KinD，采用两支路用于反射和照明，遵循一个层分解模块。
• 使用配对的低/高光图像进行训练，以正则化反射一致性和照明平滑性，而无需地面真值映射。
• 使用一个在照明引导下的反射恢复网络来去除反射分量中的退化。
• 采用一个照明调整网络，通过基于 alpha 的控制学习到对任意光照水平的灵活映射。
• 采用一个层分解损失，结合重建、反射相似性、照明平滑性和互一致性。
• 使用 PSNR、SSIM、LOE、NIQE 在 LOL、LIME、NPE、MEF 数据集上进行评估。

实验结果

研究问题

• RQ1 如何从单个低光图像有效估计照明并灵活调整光照水平？
• RQ2 提亮暗部时显现的噪声与颜色失真如何去除？
• RQ3 能否通过在不同曝光下的配对图像训练模型，而无需地面真值的照明/反射分量？
• RQ4 是否可以学习一个灵活、可用户控制的照明映射，优于伽马校正？
• RQ5 KinD 是否优于现有的最新低光增强方法？

主要发现

• KinD 在 LOL 数据集的 PSNR、SSIM、NIQE 上优于竞争方法，且无参考质量显著更好。
• 该方法产生视觉上令人满意的结果，退化去除效果显著且光照调整可控。
• 通过学习的基于 alpha 的映射进行的照明调整比伽马校正提供更自然的变化，支持用户定向照明。
• 在照明引导下的反射恢复提升了反射的恢复质量，相较于对反射的简单去噪。
• 该方法在 2080Ti GPU 上对 VGA 图像的运行时间低于 50 ms，显示实际效率。