[论文解读] DR-Net: Transmission Steered Single Image Dehazing Network with Weakly Supervised Refinement

Chongyi Li, Jichang Guo+4 more|arXiv (Cornell University)|Dec 2, 2017

Image Enhancement Techniques参考文献 31被引用 5

一句话总结

DR-Net 是一种基于深度学习的单张图像去雾网络，通过传输预测子网络、去雾子网络和弱监督优化子网络，生成高质量的去雾图像。它通过端到端训练实现更高的鲁棒性、细节保留和色彩保真度，无需手动调整超参数，在合成数据和真实世界图像上均达到最先进性能。

ABSTRACT

Despite the recent progress in image dehazing, several problems remain largely unsolved such as robustness for varying scenes, the visual quality of reconstructed images, and effectiveness and flexibility for applications. To tackle these problems, we propose a new deep network architecture for single image dehazing called DR-Net. Our model consists of three main subnetworks: a transmission prediction network that predicts transmission map for the input image, a haze removal network that reconstructs latent image steered by the transmission map, and a refinement network that enhances the details and color properties of the dehazed result via weakly supervised learning. Compared to previous methods, our method advances in three aspects: (i) pure data-driven model; (ii) the end-to-end system; (iii) superior robustness, accuracy, and applicability. Extensive experiments demonstrate that our DR-Net outperforms the state-of-the-art methods on both synthetic and real images in qualitative and quantitative metrics. Additionally, the utility of DR-Net has been illustrated by its potential usage in several important computer vision tasks.

研究动机与目标

• 解决现有单张图像去雾方法的局限性，例如依赖手工设计先验和多阶段误差累积问题。
• 开发一种纯数据驱动、端到端的深度学习框架，提升在多样化雾霾场景下的视觉质量和鲁棒性。
• 通过弱监督优化提升去雾图像的对比度和色彩保真度，且无需像素级标注。
• 通过减少对不同雾霾条件下的手动参数调优，提升实际应用的可行性。

提出的方法

• 网络由三个子网络组成：传输预测、去雾和优化，支持端到端学习。
• 传输预测子网络使用深度卷积层从输入的雾霾图像中估计传输图。
• 去雾子网络利用预测的传输图作为引导信号，重建潜在的清晰图像。
• 优化子网络通过弱监督图像到图像的转换，提升图像细节和色彩，仅使用图像级监督。
• 整个网络采用联合损失函数进行端到端训练，同时优化重建质量和感知质量。
• 该方法避免了引导滤波等后处理步骤，减少误差传播并提升训练收敛性。

实验结果

研究问题

• RQ1 纯数据驱动、端到端的深度学习框架是否能在单张图像去雾任务中超越依赖手工设计先验的传统方法？
• RQ2 将传输图作为引导信号在多大程度上能提升去雾性能和训练稳定性？
• RQ3 在无需密集标注的情况下，弱监督优化能在多大程度上提升视觉质量？
• RQ4 所提出的架构是否能很好地泛化到真实世界的雾霾图像，包括重度雾霾、无雾图像以及低光照条件等复杂情况？

主要发现

• DR-Net 在合成数据集和真实世界数据集上均达到最先进性能，在定性和定量指标上均优于先前方法。
• 该模型在重度雾霾、无雾图像以及存在白色物体的场景中具有良好的泛化能力，避免了过度增强和色彩失真。
• 若移除传输预测子网络，训练收敛性和最终结果质量显著下降，证实其在引导去雾过程中的积极作用。
• 弱监督优化子网络有效提升了对比度和色彩保真度，表现为 SURF 关键点匹配率更高，目标检测准确率提升。
• DR-Net 无需为不同雾霾浓度手动调节伽马等参数，显著提升了实际可用性。
• 在关键点匹配和目标检测等下游视觉任务中，DR-Net 显著提升性能，经优化的图像对中 SURF 匹配数达 344 个，高于原始雾霾图像对的 226 个。