[论文解读] A Cascaded Convolutional Neural Network for Single Image Dehazing

Chongyi Li, Jichang Guo+3 more|arXiv (Cornell University)|Mar 21, 2018

Image Enhancement Techniques参考文献 7被引用 7

一句话总结

本文提出一种级联卷积神经网络（CNN），联合估计单幅图像去雾的介质透射率和全局大气光，利用全连接子网络估计透射率，轻量化子网络估计大气光，实现了在合成图像和真实雾霾图像上的最先进性能，精度与速度均得到提升。

ABSTRACT

Images captured under outdoor scenes usually suffer from low contrast and limited visibility due to suspended atmospheric particles, which directly affects the quality of photos. Despite numerous image dehazing methods have been proposed, effective hazy image restoration remains a challenging problem. Existing learning-based methods usually predict the medium transmission by Convolutional Neural Networks (CNNs), but ignore the key global atmospheric light. Different from previous learning-based methods, we propose a flexible cascaded CNN for single hazy image restoration, which considers the medium transmission and global atmospheric light jointly by two task-driven subnetworks. Specifically, the medium transmission estimation subnetwork is inspired by the densely connected CNN while the global atmospheric light estimation subnetwork is a light-weight CNN. Besides, these two subnetworks are cascaded by sharing the common features. Finally, with the estimated model parameters, the haze-free image is obtained by the atmospheric scattering model inversion, which achieves more accurate and effective restoration performance. Qualitatively and quantitatively experimental results on the synthetic and real-world hazy images demonstrate that the proposed method effectively removes haze from such images, and outperforms several state-of-the-art dehazing methods.

研究动机与目标

• 解决大气颗粒物导致对比度与可见度降低所引发的单幅图像去雾挑战。
• 克服先前基于学习的方法分别估计介质透射率与大气光所带来的局限性，避免次优性能。
• 通过端到端、数据驱动的方式联合建模透射率与大气光，提升去雾的鲁棒性与灵活性。
• 在包括真实场景在内的多样化雾霾图像数据集上，实现卓越的感知质量与定量恢复效果。

提出的方法

• 提出一种具有两个任务驱动子网络的级联CNN架构：一个用于介质透射率估计，一个用于全局大气光估计。
• 采用全连接CNN进行透射率估计，以捕捉多尺度特征并增强梯度流动。
• 采用轻量化CNN进行大气光估计，以降低计算成本，同时保持高精度。
• 在两个子网络之间共享公共特征，以实现联合优化并提升特征表示能力。
• 利用估计的参数反演大气散射模型，重建无雾图像。
• 应用引导图像滤波作为后处理优化步骤，进一步提升视觉质量并减少伪影。

实验结果

研究问题

• RQ1 与分别估计相比，级联CNN架构中联合估计介质透射率与全局大气光是否能提升去雾性能？
• RQ2 所提出的级联CNN（结合密集与轻量化子网络）在定量指标与视觉质量方面，相较于当前最先进方法表现如何？
• RQ3 在合成雾霾图像上训练的模型在真实世界雾霾图像上的泛化能力如何？
• RQ4 子网络之间共享特征是否能增强特征学习并提升去雾精度？
• RQ5 与现有方法相比，该方法在天空区域与浓雾区域等复杂区域的表现如何？

主要发现

• 在合成数据集上，该方法的MSE最低（958.17），PSNR最高（18.33 dB），优于所有对比方法。
• 在合成雾霾图像上，该方法实现PSNR 18.33 dB与SSIM 0.8857，展现出卓越的定量性能。
• 在真实世界雾霾图像上，该方法生成视觉上令人愉悦的结果，色彩鲜艳、对比度高，且颜色偏差极小，尤其在天空区域表现优异。
• 即使不使用后处理优化，该方法在MSE与PSNR上仍位列第二，表明核心网络设计已极具有效性。
• 估计的介质透射率图表明，透射率与大气光的联合估计可更准确地表征雾霾浓度分布。
• 得益于轻量化网络设计与GPU加速，该方法比现有方法更快，支持高效推理。