[论文解读] End-to-End Single Image Fog Removal using Enhanced Cycle Consistent Adversarial Networks

Wei Liu, Xianxu Hou+2 more|arXiv (Cornell University)|Feb 4, 2019

Image Enhancement Techniques参考文献 33被引用 10

一句话总结

本文提出了一种基于增强型循环一致性生成对抗网络（CycleGAN）的端到端单图像去雾方法——Cycle-Defog2Refog，采用未配对的有雾与清晰图像进行训练。该方法采用两阶段映射策略，融入大气退化模型与天空先验以提升图像保真度，并首次构建了首个真实世界户外有雾-无雾图像数据集（MRFID），包含200个场景与800张图像。该方法在定性和定量评估中均达到最先进性能，尤其在保留纹理细节与减少颜色失真方面表现优异。

ABSTRACT

Single image defogging is a classical and challenging problem in computer vision. Existing methods towards this problem mainly include handcrafted priors based methods that rely on the use of the atmospheric degradation model and learning based approaches that require paired fog-fogfree training example images. In practice, however, prior-based methods are prone to failure due to their own limitations and paired training data are extremely difficult to acquire. Inspired by the principle of CycleGAN network, we have developed an end-to-end learning system that uses unpaired fog and fogfree training images, adversarial discriminators and cycle consistency losses to automatically construct a fog removal system. Similar to CycleGAN, our system has two transformation paths; one maps fog images to a fogfree image domain and the other maps fogfree images to a fog image domain. Instead of one stage mapping, our system uses a two stage mapping strategy in each transformation path to enhance the effectiveness of fog removal. Furthermore, we make explicit use of prior knowledge in the networks by embedding the atmospheric degradation principle and a sky prior for mapping fogfree images to the fog images domain. In addition, we also contribute the first real world nature fog-fogfree image dataset for defogging research. Our multiple real fog images dataset (MRFID) contains images of 200 natural outdoor scenes. For each scene, there are one clear image and corresponding four foggy images of different fog densities manually selected from a sequence of images taken by a fixed camera over the course of one year. Qualitative and quantitative comparison against several state-of-the-art methods on both synthetic and real world images demonstrate that our approach is effective and performs favorably for recovering a clear image from a foggy image.

研究动机与目标

• 解决无需配对有雾-无雾训练数据的单图像去雾挑战。
• 克服基于先验的方法在复杂条件（如明亮天空或白色物体）下失效的局限性。
• 开发一种无需生成合成数据即可在真实世界户外场景中具有良好泛化能力的基于学习的方法。
• 构建一个真实、大规模的自然有雾与清晰图像对数据集，以支持鲁棒的训练与评估。
• 通过将物理先验（大气模型与天空先验）整合进GAN框架，提升图像质量。

提出的方法

• 在有雾到无雾与无雾到有雾的两个变换路径中均采用两阶段映射策略，逐步优化去雾结果。
• 利用循环一致性损失与对抗性训练，实现从未配对的有雾与清晰图像中进行端到端学习。
• 将大气退化模型 $ I(x) = J(x)T(x) + A[1-T(x)] $ 集成到去雾网络中，以引导物理合理性。
• 引入天空先验以估计大气光 $ A $，从而减少高亮度区域的颜色失真与伪影。
• 训练两个判别器——一个用于有雾到无雾，另一个用于无雾到有雾——以在两个域中均强制实现真实图像分布。
• 利用MRFID数据集进行训练与评估，该数据集包含200个自然户外场景，每个场景包含一张清晰图像与四张有雾图像。

实验结果

研究问题

• RQ1 基于GAN的方法是否能在无需配对训练数据的情况下实现高质量的单图像去雾？
• RQ2 与单阶段GAN相比，两阶段映射策略在多大程度上提升了去雾性能？
• RQ3 将物理先验（大气模型与天空先验）嵌入后，能在多大程度上减少伪影并提升图像真实性？
• RQ4 与合成基准相比，该方法在真实世界有雾图像上的表现如何？
• RQ5 新收集的真实世界有雾-无雾数据集（MRFID）是否能支持去雾模型更好的泛化与评估？

主要发现

• 所提方法在合成与真实世界有雾图像上均表现出优越性能，相比SOTA方法具有更清晰的纹理与更少的颜色失真。
• 定量结果表明，该方法在边缘恢复（$e$）与对比度恢复（$\overline{r}$）方面取得最高值，表明其对局部细节的保留更优。
• 该方法的FADE指标更低，证实其在纹理细节恢复与输出锐度方面表现更佳。
• 该方法保持了较低的饱和度偏差（$\delta$），表明结果在色彩平衡上具有一致性。
• 在MRFID数据集上，该方法在视觉质量、亮度、清晰度与边缘可见性方面均优于五种SOTA方法。
• 尽管在处理极浓密雾时存在局限性，该方法在多样化的现实世界户外场景中仍表现出强大的鲁棒性与泛化能力。