[论文解读] Fully Non-Homogeneous Atmospheric Scattering Modeling with Convolutional Neural Networks for Single Image Dehazing

Cong Wang, Yan Huang+2 more|arXiv (Cornell University)|Aug 25, 2021

Image Enhancement Techniques参考文献 38被引用 8

一句话总结

本文提出了一种完全非均匀的大气散射模型（FNH-ASM），将大气光因子（ALF）和角度散射系数（ASC）视为像素级变量，从而能够精确建模复杂的真实世界雾霾场景。该研究进一步提出一种基于新型CNN的去雾网络FNHD-Net，采用两种代价敏感损失函数——beta-Loss与D-Loss，以减轻参数估计偏差，实现了卓越的去雾性能，尤其在浓密且异质性雾霾条件下表现突出。

ABSTRACT

In recent years, single image dehazing models (SIDM) based on atmospheric scattering model (ASM) have achieved remarkable results. However, it is noted that ASM-based SIDM degrades its performance in dehazing real world hazy images due to the limited modelling ability of ASM where the atmospheric light factor (ALF) and the angular scattering coefficient (ASC) are assumed as constants for one image. Obviously, the hazy images taken in real world cannot always satisfy this assumption. Such generating modelling mismatch between the real-world images and ASM sets up the upper bound of trained ASM-based SIDM for dehazing. Bearing this in mind, in this study, a new fully non-homogeneous atmospheric scattering model (FNH-ASM) is proposed for well modeling the hazy images under complex conditions where ALF and ASC are pixel dependent. However, FNH-ASM brings difficulty in practical application. In FNH-ASM based SIDM, the estimation bias of parameters at different positions lead to different distortion of dehazing result. Hence, in order to reduce the influence of parameter estimation bias on dehazing results, two new cost sensitive loss functions, beta-Loss and D-Loss, are innovatively developed for limiting the parameter bias of sensitive positions that have a greater impact on the dehazing result. In the end, based on FNH-ASM, an end-to-end CNN-based dehazing network, FNHD-Net, is developed, which applies beta-Loss and D-Loss. Experimental results demonstrate the effectiveness and superiority of our proposed FNHD-Net for dehazing on both synthetic and real-world images. And the performance improvement of our method increases more obviously in dense and heterogeneous haze scenes.

研究动机与目标

• 为解决基于经典大气散射模型（ASM）的现有单图像去雾模型（SIDM）在真实世界雾霾图像中性能下降的问题。
• 克服ASM的局限性，即假设整幅图像中大气光因子（ALF）和角度散射系数（ASC）保持恒定，而这一条件在真实场景中极少成立。
• 开发一种完全非均匀的大气散射模型（FNH-ASM），使ALF与ASC能够在空间上随像素变化，以更好地建模复杂的雾霾分布。
• 减轻FNH-ASM中参数估计偏差的影响，特别是在对去雾质量有显著影响的敏感区域。
• 设计一个端到端的深度学习框架FNHD-Net，将FNH-ASM与新型损失函数相结合，实现鲁棒且精确的去雾。

提出的方法

• 提出一种完全非均匀的大气散射模型（FNH-ASM），其中大气光因子（ALF）与角度散射系数（ASC）均被建模为随空间变化、依赖像素的函数。
• 引入两种新型代价敏感损失函数：beta-Loss与D-Loss，旨在对参数偏差导致更大视觉失真的区域施加更重的惩罚。
• 设计一个端到端的卷积神经网络（FNHD-Net），从单张雾霾输入图像中联合预测ALF与ASC图。
• 使用所提出的beta-Loss与D-Loss训练FNHD-Net，以最小化空间变化的参数估计误差对最终去雾输出的影响。
• 采用多尺度特征提取主干网络，以捕捉局部与全局上下文信息，实现ALF与ASC的精确预测。
• 应用残差学习策略，以提升去雾网络中的训练稳定性和特征表示能力。

实验结果

研究问题

• RQ1 与传统ASM相比，具有空间变化ALF与ASC的完全非均匀大气散射模型（FNH-ASM）是否能提升真实世界雾霾图像的去雾性能？
• RQ2 FNH-ASM中的参数估计偏差如何影响去雾质量？是否可通过损失函数设计有效缓解？
• RQ3 所提出的FNHD-Net结合FNH-ASM与代价敏感损失函数，是否在合成数据集与真实世界数据集上均取得更优的去雾结果？
• RQ4 该方法的性能提升是否在浓密或异质性雾霾场景中更为显著？
• RQ5 该方法是否能良好泛化至控制性合成环境之外的多样化真实世界雾霾条件？

主要发现

• 所提出的FNHD-Net在合成与真实世界去雾基准测试中均达到最先进性能，优于现有基于ASM的方法。
• 该方法在浓密且异质性雾霾场景中表现尤为突出，传统基于ASM的模型因恒定参数假设而失效。
• 使用beta-Loss与D-Loss显著降低了参数估计偏差的影响，特别是在高敏感区域，从而产生更符合视觉感知且更精确的去雾结果。
• 在SOTS与Cityscapes数据集上的定量评估显示，PSNR与SSIM指标相对于基线模型持续提升，尤其在具有挑战性的现实场景中表现显著。
• 消融实验验证了非均匀的ALF与ASC建模以及所提出的损失函数对性能提升的必要性。
• 视觉对比结果表明，FNHD-Net在纹理与边缘等复杂区域能生成更清晰的细节并减少伪影。