[论文解读] MSR-net:Low-light Image Enhancement Using Deep Convolutional Network

Liang Shen, Zihan Yue+4 more|arXiv (Cornell University)|Nov 7, 2017

Image Enhancement Techniques参考文献 2被引用 256

一句话总结

MSR-net 将低光照图像增强表述为一个受监督的端到端学习问题，通过将多尺度 Retinex 与 CNNs 统一，将暗图像映射为亮图像。模型通过反向传播学习，在合成数据和真实世界数据上超过若干最新方法。

ABSTRACT

Images captured in low-light conditions usually suffer from very low contrast, which increases the difficulty of subsequent computer vision tasks in a great extent. In this paper, a low-light image enhancement model based on convolutional neural network and Retinex theory is proposed. Firstly, we show that multi-scale Retinex is equivalent to a feedforward convolutional neural network with different Gaussian convolution kernels. Motivated by this fact, we consider a Convolutional Neural Network(MSR-net) that directly learns an end-to-end mapping between dark and bright images. Different fundamentally from existing approaches, low-light image enhancement in this paper is regarded as a machine learning problem. In this model, most of the parameters are optimized by back-propagation, while the parameters of traditional models depend on the artificial setting. Experiments on a number of challenging images reveal the advantages of our method in comparison with other state-of-the-art methods from the qualitative and quantitative perspective.

研究动机与目标

• 激励并开发基于学习的方法来增强低光照图像，该方法利用 Retinex 理论。
• 证明多尺度 Retinex 可以表示为一个 CNN，从而实现端到端学习。
• 开发 MSR-net，直接将暗图像映射到亮图像，几乎不需要预处理/后处理。
• 在合成数据和真实世界数据上评估该方法，并与现有的最先进方法进行对比。
• 分析参数敏感性和运行时性能。

提出的方法

• 证明多尺度 Retinex 对应于具有多个高斯样围绕的 CNN。
• 提出具有三个组成部分的 MSR-net：多尺度对数变换、Difference-of-convolution（卷积差分），以及 Color Restoration Function（颜色恢复函数）。
• 使用具有 n=4 个尺度的多尺度对数变换（v 在 {1,10,100,300}）；将输出串联起来并应用 1x1 及小卷积来融合特征。
• 实现 Difference-of-convolution，以通过聚合多尺度卷积及一个 1x1 卷积来平滑，从而模拟中心/周围的差异。
• 通过 1x1 卷积来模仿 Color Restoration Function 以生成最终增强图像。
• 端到端训练，使用 Frobenius-norm 损失加权重正则化，通过反向传播优化所有网络参数。

实验结果

研究问题

• RQ1 一个端到端训练的基于CNN的模型是否能够超越传统的基于 Retinex 和直方图的方法在低光照增强上的表现？
• RQ2 将多尺度 Retinex 表示为 CNN 层是否能提升增强图像的自然度和纹理细节？
• RQ3 网络深度和多尺度对数变换对增强质量有何影响？
• RQ4 在合成数据集与真实世界低光照数据集上的感知和质量指标方面，MSR-net 的表现如何？
• RQ5 在与 MSR-net 结合使用时，后处理（如去噪）对真实世界低光照图像有何影响？

主要发现

• MSR-net 在 2,000 张合成测试图像上取得比若干竞争方法更高的 SSIM 且更低的 NIQE。
• 在真实世界图像上，MSR-net 提供更亮且更自然的结果，在暗部区域的纹理和细节保留更好。
• 角误差测量显示颜色恒定性提升，MSR-net 在比较方法中实现了最低的角误差。
• MSR-net 在多个真实世界数据集的离散熵/NIQE 指标上保持具有竞争力或更优的性能。
• 基于GPU的推理相对于非深度方法显著加速，与CPU执行相比取得可观提升。
• 去噪后处理步骤（BM3D）可以进一步提升真实世界低光照图像的视觉质量。