[论文解读] CANDY: Conditional Adversarial Networks based Fully End-to-End System for Single Image Haze Removal

Kunal Swami, Saikat Kumar Das|arXiv (Cornell University)|Jan 9, 2018

Image Enhancement Techniques参考文献 3被引用 10

一句话总结

CANDY 提出了一种完全端到端的条件生成对抗网络（cGAN），用于单幅图像去雾，直接预测无雾图像，无需中间参数估计。通过将感知质量融入对抗损失，CANDY 在合成数据集和真实世界数据集上均实现了更优的视觉保真度，优于当前最先进方法，标志着文献中首个完全端到端的基于 GAN 的去雾框架。

ABSTRACT

Single image haze removal is a very challenging and ill-posed problem. The existing haze removal methods in literature, including the recently introduced deep learning methods, model the problem of haze removal as that of estimating intermediate parameters, viz., scene transmission map and atmospheric light. These are used to compute the haze-free image from the hazy input image. Such an approach only focuses on accurate estimation of intermediate parameters, while the aesthetic quality of the haze-free image is unaccounted for in the optimization framework. Thus, errors in the estimation of intermediate parameters often lead to generation of inferior quality haze-free images. In this paper, we present CANDY (Conditional Adversarial Networks based Dehazing of hazY images), a fully end-to-end model which directly generates a clean haze-free image from a hazy input image. CANDY also incorporates the visual quality of haze-free image into the optimization function; thus, generating a superior quality haze-free image. To the best of our knowledge, this is the first work in literature to propose a fully end-to-end model for single image haze removal. Also, this is the first work to explore the newly introduced concept of generative adversarial networks for the problem of single image haze removal. The proposed model CANDY was trained on a synthetically created haze image dataset, while evaluation was performed on challenging synthetic as well as real haze image datasets. The extensive evaluation and comparison results of CANDY reveal that it significantly outperforms existing state-of-the-art haze removal methods in literature, both quantitatively as well as qualitatively.

研究动机与目标

• 为解决现有去雾方法依赖中间参数估计（如透射图、大气光）而常导致最终图像质量下降的局限性。
• 开发一种完全端到端的深度学习框架，直接从有雾输入图像预测无雾图像，消除中间阶段的误差传播。
• 通过利用生成对抗网络，在优化过程中引入感知图像质量，确保输出结果真实且视觉上令人愉悦。
• 探索条件对抗网络在单幅图像去雾中的应用，这是该领域的一项新方法。

提出的方法

• CANDY 采用条件 GAN 架构，其中生成器以有雾图像作为输入，直接输出对应的无雾图像。
• 生成器使用组合损失函数进行训练，包括对抗损失、感知损失（利用预训练 VGG 网络的特征）以及内容一致性损失，以保留结构细节。
• 判别器以输入的有雾图像为条件，用于区分真实无雾图像与生成的去雾输出，从而促进真实感图像生成。
• 模型在合成生成的有雾数据集上进行训练，其中通过物理成像模型模拟不同大气光和透射值的雾霾。
• 训练过程采用多尺度对抗损失，以增强高频细节恢复并提高视觉锐度。
• 该框架避免了显式估计透射图或大气光，实现直接的端到端优化。

实验结果

研究问题

• RQ1 完全端到端的深度学习模型是否能在单幅图像去雾任务中超越依赖中间参数估计的传统方法？
• RQ2 与传统优化目标相比，结合对抗训练、感知损失和内容损失是否能显著提升去雾图像的视觉质量？
• RQ3 条件 GAN 架构在不显式建模透射率或大气光的情况下，能在多大程度上生成真实、高保真的无雾图像？
• RQ4 尽管在合成数据上进行训练，所提出的端到端 GAN 去雾方法在真实世界有雾图像上是否具有良好的泛化能力？
• RQ5 对抗损失、感知损失与内容一致性损失在实现去雾任务最先进性能中的相对贡献如何？

主要发现

• CANDY 在基准数据集上的定量指标（如 PSNR 和 SSIM）取得显著提升，优于先前最先进方法。
• 定性结果表明，CANDY 生成的去雾图像更清晰、更自然，且在纹理和细节保留方面表现更优。
• 该模型在真实世界有雾图像上泛化良好，生成的视觉效果优于依赖中间参数估计的方法。
• 消融研究证实，对抗损失、感知损失与内容一致性损失的组合对实现最优性能至关重要。
• 使用条件 GAN 使模型能够生成更真实、更多样化的输出，减少了以往方法中常见的伪影。
• CANDY 在合成与真实世界去雾基准测试中均达到最先进性能，验证了其有效性与泛化能力。