[论文解读] A Comprehensive Survey and Taxonomy on Single Image Dehazing Based on Deep Learning

Jie Gui, Xiaofeng Cong+6 more|arXiv (Cornell University)|Jun 7, 2021

Image Enhancement Techniques被引用 6

一句话总结

本文系统性地综述并构建了基于深度学习的单图像去雾方法的分类体系，将方法分为监督式、半监督式和无监督式三类。分析了大气散射模型、损失函数、数据集和评估指标等关键组件，并指出了领域泛化和感知损失优化等开放性挑战。

ABSTRACT

With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.

研究动机与目标

• 提供基于深度学习的单图像去雾方法的系统性综述，包括监督式、半监督式和无监督式学习方法。
• 分析并分类去雾模型的核心组件，如网络结构、损失函数和评估指标。
• 识别并讨论真实世界去雾中尚未解决的挑战，包括域偏移、缺乏可泛化的先验知识，以及对高层视觉任务的影响。
• 通过 GitHub 仓库为未来研究提供精选的去雾方法与资源集合。

提出的方法

• 将去雾方法分类为基于 ASM 和非 ASM 的方法，并根据学习范式（监督式、半监督式、无监督式）进一步细分。
• 回顾常用数据集（如 SOTS、Cityscapes、KITTI）、评估指标（如 PSNR、SSIM、LPIPS）和损失函数（如 L1、感知损失、GAN 损失）。
• 分析当前先进模型中使用的网络模块，如注意力机制、跳跃连接和多尺度特征。
• 基于标准基准，对比基线模型在定量和定性性能上的表现。
• 整合近期无监督和半监督学习研究的见解，以减少对合成成对数据的依赖。
• 提出一个分类表（表 1），按核心思想和技术方法系统分类各类方法。

实验结果

研究问题

• RQ1 监督式、半监督式和无监督式深度学习方法在单图像去雾中的设计与性能上有哪些差异？
• RQ2 哪些损失函数和网络结构在提升去雾质量与泛化能力方面最为有效？
• RQ3 现有去雾模型在提升下游高层视觉任务（如目标检测与分割）性能方面达到何种程度？
• RQ4 当前评估指标在捕捉感知质量与真实世界鲁棒性方面存在哪些局限？
• RQ5 如何通过先验知识与领域泛化技术减轻雾霾对深度学习模型的负面影响？

主要发现

• 基于大气散射模型（ASM）和端到端 CNN 的监督式去雾模型性能优异，部分模型如 4kDehazing 可实现 4K 图像 125 fps 的处理速度（每帧 8 ms）。
• 非 ASM 基础的去雾网络性能与 ASM 基础模型相当，表明深度学习可在无需显式物理建模的情况下学习去雾能力。
• 半监督与无监督方法减少了对合成成对数据的依赖，提升了在真实雾霾图像上的泛化能力。
• 使用 VGG16/VGG19 的感知损失可提升视觉质量，但其作为通用损失函数的有效性尚未得到验证，且可能并非最优选择。
• 部分去雾方法对图像分类模型产生有限甚至负面的影响，表明其可能对高层视觉任务带来潜在副作用。
• 目前尚无适用于 CNN 基础去雾的普遍有效统计先验，仍需进一步研究以识别稳健且可泛化的先验知识。