[论文解读] Joint Transmission Map Estimation and Dehazing using Deep Networks

He Zhang, Vishwanath A. Sindagi+1 more|arXiv (Cornell University)|Aug 2, 2017

Image Enhancement Techniques参考文献 66被引用 39

一句话总结

该论文提出了一种统一的深度卷积神经网络框架，以端到端的方式联合估计透射率图并进行单图像去雾，放松了恒定大气光的假设。通过结合梯度损失和对抗性损失的多任务学习，该方法在合成数据和真实世界雾像上均实现了最先进的去雾性能，且推理速度达到实时（18 FPS），视觉质量更优。

ABSTRACT

Single image haze removal is an extremely challenging problem due to its inherent ill-posed nature. Several prior-based and learning-based methods have been proposed in the literature to solve this problem and they have achieved superior results. However, most of the existing methods assume constant atmospheric light model and tend to follow a two-step procedure involving prior-based methods for estimating transmission map followed by calculation of dehazed image using the closed form solution. In this paper, we relax the constant atmospheric light assumption and propose a novel unified single image dehazing network that jointly estimates the transmission map and performs dehazing. In other words, our new approach provides an end-to-end learning framework, where the inherent transmission map and dehazed result are learned directly from the loss function. Extensive experiments on synthetic and real datasets with challenging hazy images demonstrate that the proposed method achieves significant improvements over the state-of-the-art methods.

研究动机与目标

• 通过联合学习透射率图与去雾图像，解决单图像去雾问题的固有不适定性。
• 克服先前两步法的局限性，即分别估计透射率图后再计算去雾图像。
• 放松恒定大气光假设，使网络能够隐式学习空间变化的大气光。
• 通过结合梯度损失与对抗性损失，提升去雾质量，以保留清晰边缘并避免模糊。
• 在保持高性能的同时，实现18 FPS的实时推理，适用于多种雾像。

提出的方法

• 提出一种多任务深度卷积神经网络架构，从单张雾图输入中同时预测透射率图与去雾图像。
• 通过端到端训练使网络隐式学习空间变化的大气光，从而放松恒定大气光假设。
• 使用组合损失函数，包括透射率图的L1损失、去雾图像的L1损失、梯度损失和对抗性损失，以增强边缘锐度与图像真实感。
• 使用合成数据集进行端到端训练，实现透射率图与去雾图像预测的联合优化。
• 引入判别器进行对抗性训练，以提升去雾输出的感知质量。
• 在训练过程中将标准图像退化模型（I(x) = J(x)t(x) + A(x)(1-t(x)))作为可微分约束。

实验结果

研究问题

• RQ1 与两步法相比，联合学习透射率图估计与去雾是否能显著提升视觉质量？
• RQ2 放松恒定大气光假设是否能提升模型在真实世界雾像上的泛化能力与性能表现？
• RQ3 梯度损失与对抗性损失是否能有效减少模糊并增强去雾输出的边缘细节？
• RQ4 所提出的端到端框架在速度与精度上与现有最先进方法相比如何？
• RQ5 在未进行微调的情况下，仅在合成数据上训练的模型在真实世界雾像上的泛化能力如何？

主要发现

• 所提方法在视觉质量上显著优于现有最先进方法，尤其在减少伪影、色彩过饱和与残留雾霾方面表现突出。
• 在真实世界雾像中，该方法成功恢复了被浓雾遮蔽的隐藏细节（如被雾霾遮挡的中文字符），而其他方法则失败。
• 模型处理512×512图像时达到18帧每秒，展现出与现有最快方法相当的实时性能。
• 定量评估显示，该方法在基准数据集上的PSNR与SSIM指标均优于先前基于学习的方法。
• 消融实验表明，梯度损失与对抗性损失的结合显著提升了边缘锐度与感知质量。
• 尽管泛化能力较强，但在罕见的天空区域仍存在失败案例，原因在于缺乏类似训练样本，表明合成数据泛化仍存在局限。