[论文解读] LLNet: A Deep Autoencoder Approach to Natural Low-light Image Enhancement

Kin Gwn Lore, Adedotun Akintayo+1 more|arXiv (Cornell University)|Nov 12, 2015

Image Enhancement Techniques被引用 5

一句话总结

本文提出LLNet，一种深度堆叠稀疏去噪自编码器，可同时增强低光照图像的对比度并减少噪声，且不会过度放大明亮区域。该网络在合成暗化及含噪图像上进行训练，相较于直方图均衡化和BM3D等传统方法，性能更优，且在各种光照与噪声条件下均表现一致。

ABSTRACT

In surveillance, monitoring and tactical reconnaissance, gathering the right visual information from a dynamic environment and accurately processing such data are essential ingredients to making informed decisions which determines the success of an operation. Camera sensors are often cost-limited in ability to clearly capture objects without defects from images or videos taken in a poorly-lit environment. The goal in many applications is to enhance the brightness, contrast and reduce noise content of such images in an on-board real-time manner. We propose a deep autoencoder-based approach to identify signal features from low-light images handcrafting and adaptively brighten images without over-amplifying the lighter parts in images (i.e., without saturation of image pixels) in high dynamic range. We show that a variant of the recently proposed stacked-sparse denoising autoencoder can learn to adaptively enhance and denoise from synthetically darkened and noisy training examples. The network can then be successfully applied to naturally low-light environment and/or hardware degraded images. Results show significant credibility of deep learning based approaches both visually and by quantitative comparison with various popular enhancing, state-of-the-art denoising and hybrid enhancing-denoising techniques.

研究动机与目标

• 解决高动态范围与噪声并存的低光照图像增强挑战，尤其适用于监控与侦察应用。
• 克服传统增强方法过度放大明亮区域或需手动调节参数的局限性。
• 开发一种基于深度学习的方法，从合成训练数据中学习不变的信号特征与噪声结构。
• 实现实时、机载图像增强，且无需事先了解相机或环境参数。
• 证明在消费级相机拍摄的真实世界低光照图像上，通过合成数据训练的模型具备良好的泛化能力。

提出的方法

• 使用堆叠稀疏去噪自编码器（SSDA）以无监督方式学习低光照图像中的潜在信号特征与噪声结构。
• 采用贪婪的、分层预训练策略，在合成退化图像上训练网络——通过伽马校正使图像变暗，并添加加性高斯噪声。
• 应用局部路径式对比度提升，防止对已明亮像素的过度放大，确保增强结果自然。
• 探索两种架构：LLNet（对比度与去噪联合学习）与S-LLNet（通过两个独立模块分阶段学习）。
• 通过绘制输入层到隐藏层的权重图，可视化学习到的特征，揭示对比度增强对应类块状结构，而去噪则对应更精细的纹理。
• 使用PSNR与SSIM在合成与真实低光照测试图像上评估性能，并与HE、CLAHE、伽马校正及BM3D进行比较。

实验结果

研究问题

• RQ1 能否有效训练深度自编码器，以同时增强低光照图像、去噪并保持局部对比度？
• RQ2 在单一网络中联合学习对比度增强与去噪（LLNet）与分阶段学习（S-LLNet）相比，在性能与特征专业化方面有何差异？
• RQ3 在合成低光照与含噪数据上训练的模型，能在多大程度上泛化到使用消费级相机拍摄的真实世界低光照图像？
• RQ4 自编码器学习到的特征是什么类型？它们与图像底层结构及退化模式有何关联？
• RQ5 与传统增强技术相比，基于深度学习的方法是否可消除对人工参数调节的需求？

主要发现

• LLNet与S-LLNet在多样化的光照与噪声条件下，无论在定量指标还是视觉质量上，均优于直方图均衡化、CLAHE、伽马校正与BM3D等传统方法。
• 在高噪声水平下，S-LLNet表现更优，因其在对比度增强与去噪方面具备专门化的特征学习能力，表现为权重图中明显的块状结构与精细纹理。
• 该模型在消费级手机摄像头拍摄的真实世界低光照图像上泛化良好，无需领域特定调优即可保持鲁棒性。
• 学习到的权重可视化显示，对比度增强依赖于上下文性局部特征，而去噪则作用于更广范围的全局尺度。
• 消融研究显示，最佳增强效果出现在相对最优的补丁尺寸下，表现为PSNR与SSIM指标达到峰值。
• 深度自编码器方法在推理阶段无需手动调节参数，可实现实时、机载部署，适用于资源受限环境。