[论文解读] LEDNet: Joint Low-light Enhancement and Deblurring in the Dark

Shangchen Zhou, Chongyi Li+1 more|arXiv (Cornell University)|Feb 7, 2022

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出LEDNet，一种在新型大规模数据集LOL-Blur上联合训练的低光照增强与去模糊网络，该数据集模拟了包含饱和区域模糊的真实夜间退化。通过引入一种新颖的数据合成管道，结合EC-Zero-DCE进行低光照模拟和Clipping Reverse实现精确的模糊建模，LEDNet在合成与真实世界基准上均达到最先进性能，在可见度、清晰度和感知质量方面优于现有方法。

ABSTRACT

Night photography typically suffers from both low light and blurring issues due to the dim environment and the common use of long exposure. While existing light enhancement and deblurring methods could deal with each problem individually, a cascade of such methods cannot work harmoniously to cope well with joint degradation of visibility and textures. Training an end-to-end network is also infeasible as no paired data is available to characterize the coexistence of low light and blurs. We address the problem by introducing a novel data synthesis pipeline that models realistic low-light blurring degradations. With the pipeline, we present the first large-scale dataset for joint low-light enhancement and deblurring. The dataset, LOL-Blur, contains 12,000 low-blur/normal-sharp pairs with diverse darkness and motion blurs in different scenarios. We further present an effective network, named LEDNet, to perform joint low-light enhancement and deblurring. Our network is unique as it is specially designed to consider the synergy between the two inter-connected tasks. Both the proposed dataset and network provide a foundation for this challenging joint task. Extensive experiments demonstrate the effectiveness of our method on both synthetic and real-world datasets.

研究动机与目标

• 为解决夜间图像中低光照与运动模糊的联合增强问题，现有方法因级联退化和缺乏配对数据而失效。
• 开发一种真实感数据合成管道，能够建模低光照退化，并关键性地模拟夜间场景中常见的饱和区域模糊。
• 构建首个大规模配对数据集LOL-Blur，包含12,000对多样化的低模糊/正常清晰图像对，用于联合增强与去模糊任务。
• 设计LEDNet，一种统一的编码器-解码器网络，通过一次前向传播协同处理两项任务，提升鲁棒性与性能。

提出的方法

• 提出一种数据合成管道，利用EC-Zero-DCE通过曝光控制对正常光照图像进行暗化处理，以模拟真实低光照退化。
• 引入Clipping Reverse（CR）方法，在模糊模拟过程中保留饱和强度，实现对光条纹和饱和区域模糊的精确建模。
• 构建LOL-Blur数据集，包含12,000对配对图像，涵盖多样的黑暗程度与模糊类型，包括饱和与非饱和区域。
• 设计LEDNet，采用专用编码器进行照度增强，解码器用于去模糊，并通过特征感知跳跃连接（FASC）实现空间自适应的特征融合。
• 引入金字塔池化模块（PPM）以提供全局上下文信息，并抑制低光照增强中的伪影。
• 采用基于曲线的非线性单元（CurveNLU）实现自适应、空间可变的特征调制，并引入中间增强损失以稳定训练过程。

实验结果

研究问题

• RQ1 统一的深度学习模型能否有效实现联合低光照增强与去模糊，从而克服级联方法的局限性？
• RQ2 如何在训练数据生成中准确模拟夜间图像中常见的饱和区域模糊？
• RQ3 哪些网络架构组件对于增强与去模糊的稳定且鲁棒的联合优化至关重要？
• RQ4 与顺序处理相比，增强与去模糊之间的协同效应在多大程度上提升了性能？
• RQ5 所提出的基于Clipping Reverse的数据合成管道在建模真实世界夜间图像退化方面，相较于现有合成数据集表现如何？

主要发现

• LEDNet在Real-LOL-Blur基准上的MUSIQ得分为39.11，显著优于次佳方法（35.37），展现出更优的感知质量。
• 消融实验表明，若移除金字塔池化模块（PPM），PSNR下降3.89 dB并引入明显伪影，证明其对稳定性的关键作用。
• CurveNLU实现空间自适应的特征调制，视觉分析显示其在区域上自适应地增强特征，有效保留细节。
• FASC连接优于简单拼接操作，SSIM提升0.027，PSNR提升0.44 dB，表明其在处理空间变化模糊模型方面的有效性。
• 若移除增强损失（ℒ_en），性能显著下降，PSNR从25.74降至24.05，证实其在稳定联合优化中的关键作用。
• 采用Clipping Reverse的所提数据合成管道生成的饱和模糊比标准平均方法更真实，经视觉对比验证，并在真实夜间图像上展现出更好的泛化能力。