[论文解读] An All-in-One Network for Dehazing and Beyond

Boyi Li, Xiulian Peng+3 more|arXiv (Cornell University)|Jul 20, 2017

Image Enhancement Techniques参考文献 36被引用 136

一句话总结

AOD-Net 直接从有雾输入回归无雾图像，采用基于重新表述的大气模型的端到端 CNN，并且可以与高级任务（例如 Faster R-CNN）联合训练，以提升在有雾图像上的目标检测性能。

ABSTRACT

This paper proposes an image dehazing model built with a convolutional neural network (CNN), called All-in-One Dehazing Network (AOD-Net). It is designed based on a re-formulated atmospheric scattering model. Instead of estimating the transmission matrix and the atmospheric light separately as most previous models did, AOD-Net directly generates the clean image through a light-weight CNN. Such a novel end-to-end design makes it easy to embed AOD-Net into other deep models, e.g., Faster R-CNN, for improving high-level task performance on hazy images. Experimental results on both synthesized and natural hazy image datasets demonstrate our superior performance than the state-of-the-art in terms of PSNR, SSIM and the subjective visual quality. Furthermore, when concatenating AOD-Net with Faster R-CNN and training the joint pipeline from end to end, we witness a large improvement of the object detection performance on hazy images.

研究动机与目标

• 在不进行显式透射率和大气光估计的前提下，推动鲁棒的单幅图像去雾。
• 提出一种端到端 CNN，通过重新表述的大气模型输出无雾图像。
• 设计一个轻量化、输入自适应的网络，联合估计雾霾参数并恢复清晰图像。
• 展示在有雾图像上的更优的恢复质量（PSNR/SSIM）以及高层任务性能的提升。

提出的方法

• 将大气散射模型重新表述，使 t(x) 和 A 合并为一个输入相关的单一参数 K(x)。
• 开发一个两模块网络：一个包含多尺度卷积的 K 估计模块，以及一个使用 K(x) 生成 J(x) 的无雾图像生成模块。
• 在 K 估计模块中使用具有五层卷积的轻量化架构，且每层使用最少的过滤器（每层三枚）。
• 端到端训练，使用均方误差损失来优化从 I(x) 直接重建 J(x)。
• 表明在 K(x) 内联同 t(x) 与 A 的联合估计比天真的两步法在光照和纹理保真度方面更优。
• 展示将 AOD-Net 集成到更高层次模型中（如 Faster R-CNN）并进行联合训练（JAOD-Faster R-CNN），以在有雾图像上提升检测性能。

实验结果

研究问题

• RQ1 直接回归清晰图像的端到端去雾模型是否优于基于两步透射的方法？
• RQ2 采用单一自适应参数的重新表述大气模型是否能提升恢复质量（PSNR/SSIM）和视觉保真度？
• RQ3 与高层任务（如目标检测）联合训练的去雾是否能提升有雾图像的性能？
• RQ4 一个轻量化、输入自适应的网络是否足以在合成和自然雾天场景中实现鲁棒去雾？

主要发现

• AOD-Net 在合成有雾数据集（TestSet A 和 TestSet B）上相比于最先进方法获得更高的 SSIM 且 PSNR 具有竞争力。
• AOD-Net 提供更真实的全局光照和纹理细节，在更高的 SSIM 和更低的平均图像 MSE 方面得到体现。
• 联合的 JAOD-Faster R-CNN 流水线在有雾条件下的目标检测 mAP 相较于天真或非联合方法取得了显著提升。
• AOD-Net 的运行速度远快于若干基线（在 CPU/GPU 基准测试中每张图像 0.65–0.65 秒），实现高效部署。
• 端到端设计使得恢复可以针对下游任务进行调优，在密集雾场景中优于两阶段流水线。
• 去雾可以提升自然有雾图像的性能，并在应用于无雾输入时仍保持鲁棒。