[论文解读] Exploring Image Enhancement for Salient Object Detection in Low Light Images

Xin Xu, Shiqin Wang+3 more|arXiv (Cornell University)|Jul 31, 2020

Visual Attention and Saliency Detection参考文献 66被引用 8

一句话总结

本文提出了一种基于物理光照模型的图像增强方法 PIE，将其集成到深度神经网络中，以提升低光照图像中显著性物体检测（SOD）的性能。通过将环境光建模为空间可变变量，并利用非局部块层（Non-Local-Block Layer）捕捉长距离上下文信息，PIE 提升了图像质量并显著增强了 SOD 性能，在四个公开数据集和一个自定义基准数据集（NTI-V1）上实现了最先进（SOTA）的结果。

ABSTRACT

Low light images captured in a non-uniform illumination environment usually are degraded with the scene depth and the corresponding environment lights. This degradation results in severe object information loss in the degraded image modality, which makes the salient object detection more challenging due to low contrast property and artificial light influence. However, existing salient object detection models are developed based on the assumption that the images are captured under a sufficient brightness environment, which is impractical in real-world scenarios. In this work, we propose an image enhancement approach to facilitate the salient object detection in low light images. The proposed model directly embeds the physical lighting model into the deep neural network to describe the degradation of low light images, in which the environment light is treated as a point-wise variate and changes with local content. Moreover, a Non-Local-Block Layer is utilized to capture the difference of local content of an object against its local neighborhood favoring regions. To quantitative evaluation, we construct a low light Images dataset with pixel-level human-labeled ground-truth annotations and report promising results on four public datasets and our benchmark dataset.

研究动机与目标

• 为解决由于低对比度和非均匀光照导致的低光照图像中显著性物体检测（SOD）性能下降的问题。
• 开发一种显式建模物理光照退化过程的图像增强方法，以提升 SOD 性能。
• 构建一个新的低光照图像数据集，包含像素级标注，用于在真实低光照条件下评估 SOD 性能。
• 证明将环境光显式建模为逐点可变变量，可显著提升 SOD 在低光照场景下的鲁棒性。

提出的方法

• 将物理光照模型嵌入深度神经网络，将环境光视为空间可变（逐点）变量，而非常量。
• 引入非局部块层（Non-Local-Block, NLB）以捕捉显著性物体与其局部邻域之间的长距离依赖关系与差异。
• 设计一种新型图像增强网络 PIE（Physical Image Enhancement），通过物理光照模型建模退化过程，实现低光照图像的恢复。
• 采用可学习的大气光组件 A(z)，其值随空间位置变化，从而提升图像的真实感与细节保留能力。
• 在 PIE 生成的增强图像上训练 SOD 模型（NLD），以实现更优的特征学习与显著性预测。
• 采用多尺度损失函数与数据增强技术，提升模型在低光照图像上的泛化能力。

实验结果

研究问题

• RQ1 将非均匀环境光显式建模为空间可变变量，是否能提升低光照图像增强在 SOD 任务中的性能？
• RQ2 将物理光照模型集成到深度神经网络中，对低光照条件下 SOD 性能有何影响？
• RQ3 所提出的非局部块层在捕获退化图像中的非局部上下文信息方面，能多大程度上提升 SOD 性能？
• RQ4 所提出的图像增强方法是否能在基线模型之外泛化到其他 SOD 模型？
• RQ5 在基准数据集上，所提方法与现有低光照增强和 SOD 方法相比，性能表现如何？

主要发现

• 所提出的 PIE 方法在 NTI-V1 数据集上表现最佳，平均绝对误差（MAE）为 0.026，最大 Fβ 为 0.745，优于所有基线方法。
• 与常量 A(z) 设置相比，使用空间可变的大气光 A(z) 可使 MAE 降低 1.4%，最大 Fβ 提升 0.4%。
• 与不使用非局部块层的模型相比，引入非局部块层可使 MAE 降低 2.1%，最大 Fβ 提升 4.1%。
• PIE 增强后的图像显著优于原始低光照图像的 SOD 结果，其中 'PIE+LPS' 方法优于单独的 'LPS' 方法，且更接近真实标签。
• 定性结果表明，PIE 有效增强了亮度与对比度，同时保留了显著性物体的细节，并减少了背景噪声。
• 消融实验验证了空间可变 A(z) 和非局部块层均为实现在低光照条件下达到最先进 SOD 性能的关键组件。