[论文解读] Low-light Image Enhancement Algorithm Based on Retinex and Generative Adversarial Network

Yangming Shi, Xiaopo Wu+1 more|arXiv (Cornell University)|Jun 14, 2019

Image Enhancement Techniques参考文献 42被引用 30

一句话总结

本文提出了一种Retinex-GAN框架，该框架在使用生成对抗网络增强之前，将低光照图像分解为光照分量和反射分量，从而在CSID数据集上实现了最先进的性能，PSNR达到31.31，SSIM达到0.879，显著减少了模糊和噪声，同时保留了精细细节。

ABSTRACT

Low-light image enhancement is generally regarded as a challenging task in image processing, especially for the complex visual tasks at night or weakly illuminated. In order to reduce the blurs or noises on the low-light images, a large number of papers have contributed to applying different technologies. Regretfully, most of them had served little purposes in coping with the extremely poor illumination parts of images or test in practice. In this work, the authors propose a novel approach for processing low-light images based on the Retinex theory and generative adversarial network (GAN), which is composed of the decomposition part for splitting the image into illumination image and reflected image, and the enhancement part for generating high-quality image. Such a discriminative network is expected to make the generated image clearer. Couples of experiments have been implemented under the circumstance of different lighting strength on the basis of Converted See-In-the-Dark (CSID) datasets, and the satisfactory results have been achieved with exceeding expectation that much encourages the authors. In a word, the proposed GAN-based network and employed Retinex theory in this work have proven to be effective in dealing with the low-light image enhancement problems, which will benefit the image processing with no doubt.

研究动机与目标

• 解决在光照不良和存在噪声的真实场景下低光照图像增强的挑战。
• 克服现有方法在极度黑暗或噪声严重的图像上失效的局限性，这些方法依赖于人工数据集。
• 通过整合Retinex理论与GAN，实现更优的分解与增强，从而提升图像质量。
• 通过结构化损失函数实现高保真度增强，减少模糊和噪声。

提出的方法

• 该方法采用受Retinex启发的网络架构，将低光照图像分解为光照分量和反射分量。
• 使用生成对抗网络（GAN）对光照分量进行增强，生成高质量、自然外观的结果。
• 引入正则化损失，使分解过程与Retinex理论保持一致，并避免陷入局部最优。
• 采用结构相似性（SSIM）损失和平滑L1损失，以减少模糊并提升感知质量。
• 模型在CSID和LOL数据集提供的成对真实低光照与正常光照图像上进行训练。
• 通过多分支监督对框架进行优化：包括GAN损失、SSIM损失和Smooth-L1损失，以提升稳定性和保真度。

实验结果

研究问题

• RQ1 混合Retinex-GAN模型能否有效分解并增强低光照图像，同时保留精细细节？
• RQ2 与标准L1损失相比，引入SSIM损失和平滑L1损失在提升感知质量与减少模糊方面有何改进？
• RQ3 基于Retinex的分解在极端光照条件下在多大程度上提升了低光照增强的鲁棒性？
• RQ4 与合成或人为退化的数据集相比，该模型在具有高噪声的真实世界低光照图像上的表现如何？
• RQ5 该方法能否实现实时性能，以支持高分辨率视频处理？

主要发现

• 所提出的Retinex-GAN在CSID数据集上，亮度水平为0.5时，PSNR达到31.31，SSIM达到0.879，优于基线模型。
• 消融实验表明，与基础模型相比，加入GAN损失、SSIM损失和平滑L1损失后，PSNR提升了0.42，SSIM提升了0.016。
• 第三种策略（S3）通过正则化损失实现了比S1和S2更一致且更准确的光照与反射分量分解。
• MSE从S1的111.27降低至S3 + GAN + SSIM + Smooth-L1的99.12，表明重建保真度更高。
• 尽管性能出色，该模型在极度噪声输入下表现不佳，部分失败案例中，书封面文字等细节丢失。
• 在384×256分辨率下，模型运行速度为91 FPS，但在1280×720分辨率下降至11 FPS，表明需进一步优化以实现实时视频处理。