[论文解读] Learning Deep Context-Sensitive Decomposition for Low-Light Image Enhancement

Long Ma, Risheng Liu+3 more|arXiv (Cornell University)|Dec 9, 2021

Image Enhancement Techniques被引用 5

一句话总结

本文提出CSDNet，一种用于低光照图像增强的深度学习框架，通过上下文敏感的分解方法联合估计反射率与光照，同时保留结构和色彩细节。通过整合物理先验和空间可变的光照引导，该方法在极少伪影下实现最先进性能，并进一步提出轻量化变体（LiteCSDNet与SLiteCSDNet），参数量低于0.03M，且与完整模型质量近乎相同。

ABSTRACT

Enhancing the quality of low-light images plays a very important role in many image processing and multimedia applications. In recent years, a variety of deep learning techniques have been developed to address this challenging task. A typical framework is to simultaneously estimate the illumination and reflectance, but they disregard the scene-level contextual information encapsulated in feature spaces, causing many unfavorable outcomes, e.g., details loss, color unsaturation, artifacts, and so on. To address these issues, we develop a new context-sensitive decomposition network architecture to exploit the scene-level contextual dependencies on spatial scales. More concretely, we build a two-stream estimation mechanism including reflectance and illumination estimation network. We design a novel context-sensitive decomposition connection to bridge the two-stream mechanism by incorporating the physical principle. The spatially-varying illumination guidance is further constructed for achieving the edge-aware smoothness property of the illumination component. According to different training patterns, we construct CSDNet (paired supervision) and CSDGAN (unpaired supervision) to fully evaluate our designed architecture. We test our method on seven testing benchmarks to conduct plenty of analytical and evaluated experiments. Thanks to our designed context-sensitive decomposition connection, we successfully realized excellent enhanced results, which fully indicates our superiority against existing state-of-the-art approaches. Finally, considering the practical needs for high-efficiency, we develop a lightweight CSDNet (named LiteCSDNet) by reducing the number of channels. Further, by sharing an encoder for these two components, we obtain a more lightweight version (SLiteCSDNet for short). SLiteCSDNet just contains 0.0301M parameters but achieves the almost same performance as CSDNet.

研究动机与目标

• 解决现有深度学习方法在低光照图像增强中的局限性，如细节丢失、色彩失真及因上下文建模不足导致的伪影。
• 提出一种新型双流网络架构，联合估计反射率与光照，同时保留跨空间尺度的场景级上下文依赖关系。
• 通过上下文敏感的分解连接将物理先验融入网络，以提升结果的保真度与真实感。
• 设计成对（CSDNet）与非成对（CSDGAN）的训练策略，以应对多样的真实世界数据场景。
• 开发轻量化版本（LiteCSDNet与SLiteCSDNet），实现实时高效推理而不损失性能。

提出的方法

• 提出双流网络，分别设置反射率与光照估计分支，通过上下文敏感的分解模块连接，强制实现物理一致性。
• 引入空间可变的光照引导模块，促进光照分量中的边缘感知平滑性，减少过度平滑并保留锐利过渡。
• 设计在特征与图像双层次运行的上下文敏感分解连接，显式建模长程空间依赖，增强上下文理解能力。
• 在CSDGAN中引入残差连接以稳定训练，并缓解过曝与色彩失真等问题。
• 通过将每块通道数减少至12，构建LiteCSDNet，显著降低参数量同时保持性能。
• 通过在反射率与光照分支间共享编码器，开发SLiteCSDNet，进一步将参数量减半至0.0301M。

实验结果

研究问题

• RQ1 能否通过显式建模场景级上下文依赖的深度学习框架，使低光照图像增强效果超越当前最先进方法？
• RQ2 通过上下文敏感的分解连接引入物理先验，对增强图像的质量与真实感有何影响？
• RQ3 通过空间可变操作的光照引导，能在多大程度上减少伪影并提升边缘保留效果？
• RQ4 轻量化网络变体能否在不造成显著性能下降的前提下实现高效率？
• RQ5 在多样化的低光照数据集上，成对与非成对训练策略在鲁棒性与泛化能力方面有何差异？

主要发现

• CSDNet在七个基准测试中均达到最先进性能，包括MIT-Adobe FiveK、LOL、ExDark与NPE，视觉质量优异且伪影极少。
• 该方法成功保留了精细细节与鲜艳色彩，同时抑制了噪声，在定性与定量评估中均优于RetinexNet、KinD与LightenNet等现有方法。
• LiteCSDNet相比其他SOTA模型将参数量减少超过97%，在MIT-Adobe FiveK数据集上仅出现可忽略的性能下降。
• SLiteCSDNet的参数量仅为0.0301M，为LiteCSDNet的一半，同时保持了与CSDNet几乎相同的视觉质量。
• 光照引导模块在挑战性案例中显著减少了伪影并提升了亮度，通过在多种图像类型上的消融实验得到验证。
• CSDGAN中的残差连接有效缓解了过曝与色彩失真问题，增强了训练稳定性与输出一致性。