[论文解读] Fast Enhancement for Non-Uniform Illumination Images using Light-weight CNNs

Feifan Lv, Bo Liu+1 more|arXiv (Cornell University)|May 31, 2020

Image Enhancement Techniques被引用 5

一句话总结

本文提出一种轻量级CNN，参数量约5,000个，用于实时增强非均匀光照图像，结合基于Retinex的双重增强（分别处理欠曝和过曝区域）与融合及噪声/伪影去除。该方法在0.5MP图像上实现约50 fps的实时性能，并在速度和质量上优于SOTA方法，其训练数据基于一个包含约8.2万对图像的新半监督数据集。

ABSTRACT

This paper proposes a new light-weight convolutional neural network (5k parameters) for non-uniform illumination image enhancement to handle color, exposure, contrast, noise and artifacts, etc., simultaneously and effectively. More concretely, the input image is first enhanced using Retinex model from dual different aspects (enhancing under-exposure and suppressing over-exposure), respectively. Then, these two enhanced results and the original image are fused to obtain an image with satisfactory brightness, contrast and details. Finally, the extra noise and compression artifacts are removed to get the final result. To train this network, we propose a semi-supervised retouching solution and construct a new dataset (82k images) contains various scenes and light conditions. Our model can enhance 0.5 mega-pixel (like 600*800) images in real time (50 fps), which is faster than existing enhancement methods. Extensive experiments show that our solution is fast and effective to deal with non-uniform illumination images.

研究动机与目标

• 解决同时处理曝光、对比度、色彩、噪声和伪影的非均匀光照图像增强挑战。
• 开发一种轻量级深度学习模型，因其参数量极低（约5,000个参数），适用于移动和嵌入式系统。
• 克服传统Retinex方法无法同时增强欠曝和过曝区域的局限性。
• 通过半监督润饰流水线，构建大规模、多样化的非均匀光照增强基准数据集。
• 在0.5MP图像上实现约50 fps的实时推理速度，同时保持高视觉与定量性能。

提出的方法

• 分别对原始图像及其反相版本应用Retinex理论，分别针对欠曝和过曝区域进行增强。
• 将两个Retinex增强结果与原始图像融合，生成曝光平衡、对比度提升且细节更丰富的输出。
• 使用轻量级CNN（Restoration-Net）去除融合结果中的残余噪声和压缩伪影。
• 设计半监督润饰流水线，通过在COCO数据集的真实图像上模拟各种曝光条件，生成配对训练数据。
• 构建一个包含约82,000对图像的新数据集，涵盖多样场景与光照条件，用于模型训练与评估。
• 采用多分量损失函数，包括感知损失、结构损失和光照感知损失，以提升视觉质量与保真度。

实验结果

研究问题

• RQ1 轻量级CNN能否在同时处理曝光、对比度、色彩、噪声和伪影的前提下，有效增强非均匀光照图像？
• RQ2 在原始图像与反相图像上采用双路径Retinex增强是否优于标准Retinex方法，在平衡欠曝与过曝校正方面表现更优？
• RQ3 半监督数据生成流水线能否在无需完全标注的情况下，生成高质量、多样化的非均匀光照增强训练对？
• RQ4 模型大小在实时图像增强中对性能与推理速度的影响程度如何？
• RQ5 所提方法能否在0.5MP图像上实现约50 fps的实时推理，同时在定性与定量指标上均超越SOTA方法？

主要发现

• 所提模型在0.5MP图像上实现约50 fps的实时推理速度，显著快于现有增强方法。
• 参数量约5,000的模型在所提数据集上达到PSNR 22.68与SSIM 0.92，优于更大模型及SOTA方法。
• 消融实验证明，包含所有损失分量（感知、结构、光照与身份损失）时性能最佳，PSNR从无损失时的20.26提升至22.68（完整损失）。
• 半监督数据生成流水线成功生成了约82,000对多样化、高质量的图像对，实现了无需完全标注的有效训练。
• 该方法在视觉质量上优于现有SOTA方法，生成图像具有更好的色彩保真度、更丰富的细节、更高的对比度以及更少的伪影。
• 在完全欠曝或过曝区域，模型无法恢复细节，如失败案例所示，表明在极端曝光条件下存在局限性。