[论文解读] Unsupervised Real-world Low-light Image Enhancement with Decoupled Networks.

Wei Xiong, Ding Liu+3 more|arXiv (Cornell University)|May 6, 2020

Image Enhancement Techniques参考文献 41被引用 10

一句话总结

本文提出了一种两阶段、完全无监督的基于 GAN 的框架，将真实世界低光照图像增强分解为光照增强和噪声抑制两个任务。通过在未配对的数据上进行训练，并引入一种新型未配对数据集，该方法在无需配对训练数据的情况下，在光照恢复和噪声抑制两方面均达到了最先进性能。

ABSTRACT

Conventional learning-based approaches to low-light image enhancement typically require a large amount of paired training data, which are difficult to acquire in real-world scenarios. Recently, unsupervised models for this task have been explored to eliminate the use of paired data. However, these methods primarily tackle the problem of illumination enhancement, and usually fail to suppress the noises that ubiquitously exist in images taken under real-world low-light conditions. In this paper, we address the real-world low-light image enhancement problem by decoupling this task into two sub-tasks: illumination enhancement and noise suppression. We propose to learn a two-stage GAN-based framework to enhance the real-world low-light images in a fully unsupervised fashion. In addition to conventional benchmark datasets, a new unpaired low-light image enhancement dataset is built and used to thoroughly evaluate the performance of our model. Extensive experiments show that our method outperforms the state-of-the-art unsupervised image enhancement methods in terms of both illumination enhancement and noise reduction.

研究动机与目标

• 解决在不依赖配对训练数据的情况下，真实世界低光照图像增强的挑战。
• 克服现有无监督方法在低光照图像中无法有效抑制噪声的局限性。
• 将增强任务解耦为两个子任务：光照增强和噪声抑制。
• 开发一种完全无监督的框架，利用未配对的真实世界低光照图像进行训练。
• 在新构建的未配对低光照图像增强数据集上评估该方法，以确保评估的现实性。

提出的方法

• 将低光照图像增强分解为两个不同的子任务：光照增强和噪声抑制。
• 设计一种两阶段 GAN 架构，其中第一阶段负责光照增强，第二阶段负责噪声抑制。
• 仅使用未配对的真实世界低光照图像和正常光照图像，以完全无监督的方式训练模型。
• 引入一个新的未配对低光照图像增强数据集，以支持全面评估。
• 使用对抗性训练结合循环一致性损失和感知损失，以提升图像质量和真实感。
• 利用特征级对齐和领域特定判别器，增强光照与噪声成分的解耦效果。

实验结果

研究问题

• RQ1 完全无监督的框架是否能在无需配对训练数据的情况下，有效增强真实世界低光照图像？
• RQ2 将光照增强与噪声抑制解耦是否能优于联合优化？
• RQ3 与最先进无监督方法相比，该方法在噪声抑制和光照恢复方面表现如何？
• RQ4 新构建的未配对数据集在多大程度上提升了低光照增强模型的评估效果？
• RQ5 该模型能否在缺乏配对数据的真实世界低光照条件下实现良好泛化？

主要发现

• 所提方法在光照增强和噪声抑制两方面均优于最先进无监督图像增强方法。
• 两阶段解耦框架在新构建的未配对低光照图像增强数据集上实现了更优性能。
• 由于其无监督训练范式，模型在真实世界低光照条件下展现出强大的泛化能力。
• 消融实验证实，任务解耦可提升噪声抑制效果，并实现更自然的光照恢复。
• 与基线无监督模型相比，该方法在 FID 和 LPIPS 指标上得分更高，表明图像质量与真实感更优。
• 定性和定量评估均表明，该模型在有效抑制噪声的同时，保持了结构细节。