[论文解读] Enhancing Visibility in Nighttime Haze Images Using Guided APSF and Gradient Adaptive Convolution

Yeying Jin, Beibei Lin+4 more|arXiv (Cornell University)|Aug 3, 2023

Image Enhancement Techniques被引用 7

一句话总结

本文提出一种基于学习的单张图像夜间去霾框架，可同时抑制光晕并增强低光照区域。该框架采用APSFP引导的光晕渲染流程，结合光照源感知网络实现逼真的光晕模拟，利用梯度自适应卷积（GAC）以保留边缘和纹理，并引入注意力引导模块实现低光照增强，在GTA5数据集上达到30.38 dB的PSNR，较当前最先进方法高出13%。

ABSTRACT

Visibility in hazy nighttime scenes is frequently reduced by multiple factors, including low light, intense glow, light scattering, and the presence of multicolored light sources. Existing nighttime dehazing methods often struggle with handling glow or low-light conditions, resulting in either excessively dark visuals or unsuppressed glow outputs. In this paper, we enhance the visibility from a single nighttime haze image by suppressing glow and enhancing low-light regions. To handle glow effects, our framework learns from the rendered glow pairs. Specifically, a light source aware network is proposed to detect light sources of night images, followed by the APSF (Atmospheric Point Spread Function)-guided glow rendering. Our framework is then trained on the rendered images, resulting in glow suppression. Moreover, we utilize gradient-adaptive convolution, to capture edges and textures in hazy scenes. By leveraging extracted edges and textures, we enhance the contrast of the scene without losing important structural details. To boost low-light intensity, our network learns an attention map, then adjusted by gamma correction. This attention has high values on low-light regions and low values on haze and glow regions. Extensive evaluation on real nighttime haze images, demonstrates the effectiveness of our method. Our experiments demonstrate that our method achieves a PSNR of 30.38dB, outperforming state-of-the-art methods by 13% on GTA5 nighttime haze dataset. Our data and code is available at https://github.com/jinyeying/nighttime_dehaze.

研究动机与目标

• 解决由于人工光源和光晕效应复杂性导致夜间去霾缺乏真实配对训练数据的问题。
• 克服现有方法在雾霾夜间场景中产生过暗输出或无法有效抑制光晕的局限性。
• 在单一统一框架中同时处理多个挑战：光晕抑制、低光照增强以及结构细节保留。
• 提出一种半监督训练策略，利用合成的APSFP引导光晕渲染数据，提升模型在真实世界夜间雾霾图像上的泛化能力。
• 通过集成边缘、纹理和光照感知增强模块，实现可见度增强的卓越性能。

提出的方法

• 引入光照源感知网络以检测夜间图像中的光源位置，实现针对性的光晕渲染。
• 应用APSFP引导的光晕渲染技术，在检测到的光源上生成逼真的光晕效果，从而构建用于光晕抑制的合成训练数据。
• 在渲染生成的光晕配对数据上训练主干网络，使其学习在保留场景结构的同时抑制光晕。
• 实施梯度自适应卷积（GAC），结合梯度图与双边核以从雾霾图像中提取边缘与纹理。
• 利用提取的边缘与纹理作为引导，在去霾过程中增强图像对比度与结构细节。
• 引入注意力引导增强模块，对低光照区域分配高权重，对雾霾与光晕区域分配低权重，随后通过伽马校正提升暗区亮度。

实验结果

研究问题

• RQ1 基于学习的框架是否能在不依赖真实配对训练数据的情况下，有效抑制夜间雾霾图像中的光晕？
• RQ2 梯度自适应卷积如何提升低对比度、雾霾弥漫的夜间场景中边缘与纹理的保留能力？
• RQ3 基于注意力的增强方法是否能有效恢复暗区可见度，同时避免雾霾或噪声的放大？
• RQ4 APSFP引导的光晕渲染在多大程度上提升了真实世界夜间去霾任务中的泛化能力与光晕抑制效果？
• RQ5 各个组件（光晕渲染、GAC、注意力增强）对整体性能提升的贡献程度如何？

主要发现

• 所提方法在GTA5夜间雾霾数据集上达到30.38 dB的PSNR，较当前最先进方法高出13%。
• 定性结果表明，该方法能有效去除雾霾与光晕，同时增强低光照区域，保留树木、建筑与道路结构的精细细节。
• 消融实验验证了每个组件——APSFP引导的光晕渲染、梯度自适应卷积与注意力引导增强——均对性能提升有显著贡献。
• 在真实世界夜间雾霾图像上的用户研究显示，该方法在所有评估指标中得分最高，证实其在感知质量上的优越性。
• 尽管存在领域差距，该框架仍成功泛化至真实世界场景，表现为在真实数据集上表现强劲，并对多样的光照条件具有鲁棒性。
• 利用合成的APSFP引导光晕数据实现了有效的半监督训练，使网络在无需真实无霾图像作为监督信号的情况下，学习到光晕抑制能力。