[论文解读] Enhancing Low-Light Images in Real World via Cross-Image Disentanglement

Lanqing Guo, Renjie Wan+3 more|arXiv (Cornell University)|Jan 10, 2022

Image Enhancement Techniques被引用 5

一句话总结

本文提出了一种使用非对齐真实世界图像对的弱监督低光照图像增强方法，引入了跨图像解耦网络（CIDN），通过在图像间分离亮度和内容特征，实现光照增强并抑制噪声。该方法在无需像素对齐监督的情况下，在真实世界和合成数据集上均取得了最先进性能。

ABSTRACT

Images captured in the low-light condition suffer from low visibility and various imaging artifacts, e.g., real noise. Existing supervised enlightening algorithms require a large set of pixel-aligned training image pairs, which are hard to prepare in practice. Though weakly-supervised or unsupervised methods can alleviate such challenges without using paired training images, some real-world artifacts inevitably get falsely amplified because of the lack of corresponded supervision. In this paper, instead of using perfectly aligned images for training, we creatively employ the misaligned real-world images as the guidance, which are considerably easier to collect. Specifically, we propose a Cross-Image Disentanglement Network (CIDN) to separately extract cross-image brightness and image-specific content features from low/normal-light images. Based on that, CIDN can simultaneously correct the brightness and suppress image artifacts in the feature domain, which largely increases the robustness to the pixel shifts. Furthermore, we collect a new low-light image enhancement dataset consisting of misaligned training images with real-world corruptions. Experimental results show that our model achieves state-of-the-art performances on both the newly proposed dataset and other popular low-light datasets.

研究动机与目标

• 为了解决监督训练中获取大规模像素对齐的低光照与正常光照图像对的挑战。
• 通过利用非对齐的真实世界图像对作为训练数据，提升低光照图像增强的鲁棒性。
• 通过解耦跨图像的亮度特征与图像特异性内容特征，实现亮度校正与伪影抑制的联合优化。
• 开发一种在无需微调的情况下，能良好泛化到真实世界条件（包括噪声和曝光变化）的方法。

提出的方法

• 跨图像解耦网络（CIDN）使用两个编码器：内容编码器和亮度编码器，分别从低光照和正常光照图像中提取解耦特征。
• 亮度特征在图像间共享，以实现跨图像的亮度校正，而内容特征则被保留以维持结构一致性。
• 应用特征交换机制：将正常光照图像的亮度特征迁移至低光照图像的内容特征上，以增强光照效果。
• 采用多损失训练方案，结合内容一致性、重建、对抗性、感知和KL散度损失，以稳定训练并提升结果的真实性。
• 该方法在弱监督设置下运行，仅依赖于非对齐图像对的图像级监督，避免了对像素级精确对齐的需求。
• 后处理步骤通过基于原始低光照图像调整RGB通道强度比，校正残余色偏。

实验结果

研究问题

• RQ1 能否使用非对齐的真实世界图像对而非完美对齐的图像对，有效训练低光照图像增强模型？
• RQ2 跨图像的解耦特征学习是否能提升在真实场景中图像非对齐和噪声情况下的鲁棒性？
• RQ3 与无监督基线方法相比，所提方法是否在无成对监督的情况下更好地抑制了伪影和噪声？
• RQ4 该模型是否能在不重新训练或微调的情况下泛化到曝光校正任务？
• RQ5 使用大规模非对齐数据集在多大程度上影响模型的泛化能力和性能表现？

主要发现

• 所提出的CIDN模型在新引入的NM2L数据集以及LOL等公开低光照数据集上均取得了最先进性能。
• 该模型在噪声抑制方面显著优于无监督方法（如Zero-DCE和EnlightenGAN），避免了增强结果中伪影的放大。
• 在NM2L数据集上进行训练，相较于仅在LOL上训练，能更好地处理低质量、高噪声输入，这是由于NM2L包含了真实世界的退化因素。
• 将LOL与NM2L数据集联合训练可进一步提升性能，证明了在不同光照和噪声条件下多样化训练数据的优势。
• 该模型无需微调即可泛化至过曝校正任务，在挑战性情况下生成结果与Photoshop相当。
• 定量结果表明，在非参考基准上，FID、LPIPS和PSNR指标均有提升，证实了图像质量和真实感的增强。