[论文解读] Joint Enhancement and Denoising Method via Sequential Decomposition

Xutong Ren, Mading Li+2 more|arXiv (Cornell University)|Apr 23, 2018

Image Enhancement Techniques参考文献 7被引用 8

一句话总结

本文提出一种基于顺序Retinex分解的联合低光照增强与去噪方法，首先估计光照分量，随后利用加权梯度矩阵对反射率进行去噪优化。该方法在无需后处理的情况下，显著降低噪声并保留细节，实现优于当前最先进方法的图像质量，在增强与去噪两方面均表现优异。

ABSTRACT

Many low-light enhancement methods ignore intensive noise in original images. As a result, they often simultaneously enhance the noise as well. Furthermore, extra denoising procedures adopted by most methods ruin the details. In this paper, we introduce a joint low-light enhancement and denoising strategy, aimed at obtaining well-enhanced low-light images while getting rid of the inherent noise issue simultaneously. The proposed method performs Retinex model based decomposition in a successive sequence, which sequentially estimates a piece-wise smoothed illumination and a noise-suppressed reflectance. After getting the illumination and reflectance map, we adjust the illumination layer and generate our enhancement result. In this noise-suppressed sequential decomposition process we enforce the spatial smoothness on each component and skillfully make use of weight matrices to suppress the noise and improve the contrast. Results of extensive experiments demonstrate the effectiveness and practicability of our method. It performs well for a wide variety of images, and achieves better or comparable quality compared with the state-of-the-art methods.

研究动机与目标

• 解决现有低光照增强方法在增强过程中放大的噪声问题。
• 克服后处理去噪方法的缺点，后者常导致细节模糊或在高噪声图像上失效。
• 构建一个统一框架，在分解过程中同时增强光照并抑制噪声。
• 通过顺序估计光照与反射率，最小化噪声传播，提升低光照图像质量。
• 在无需额外去噪步骤的情况下，实现优于当前最先进方法的视觉效果。

提出的方法

• 执行顺序分解：首先独立估计分段平滑的光照图。
• 利用基于优化的变分模型，结合优化后的光照图与原始图像，通过自适应权重矩阵实现反射率图的去噪优化。
• 通过带对角权重矩阵的总变差正则化，对光照与反射率施加空间平滑性约束。
• 通过最小化包含梯度算子的二次能量函数，推导出线性系统以求解光照估计。
• 对归一化的光照图应用伽马校正，调整亮度后与反射率图结合，生成最终输出。
• 利用梯度矩阵 $W$ 和 $G$ 在RGB空间中增强反射率，提升对比度的同时抑制噪声。

实验结果

研究问题

• RQ1 与联合方法相比，顺序分解光照与反射率是否能有效减少低光照增强过程中的噪声放大？
• RQ2 所提方法在低光照条件下抑制噪声并保留精细图像细节的效率如何？
• RQ3 联合增强与去噪框架是否优于将去噪作为独立后处理步骤的当前最先进方法？
• RQ4 自适应权重矩阵在噪声低光照图像中的反射率估计中，其提升效果有多大？
• RQ5 所提方法是否能实现高质量增强，而无需依赖BM3D等额外去噪流程？

主要发现

• 与LIME、SRIE和NPEA等方法相比，所提方法即使不进行后处理去噪，也能显著降低增强图像中的噪声。
• 视觉对比显示，该方法在保留局部细节（如草丛纹理与色彩保真度）方面优于HE、SRIE和NPEA，后者常产生过度增强或模糊的结果。
• 与LIME相比，所提方法在明亮区域的过增强现象更少，保持了更好的对比度与细节完整性。
• 在去噪效果上，该方法优于PIE及其他方法后续接BM3D的流程，避免了后处理管道中常见的模糊与细节丢失问题。
• 大量实验表明，该方法在质量上达到或超过当前最先进方法，同时将去噪直接集成到增强过程中。
• 顺序估计策略生成了更清晰的光照图与更精确的反射率，相比联合迭代方法，有效减少了噪声传播。