[论文解读] Dehaze-GLCGAN: Unpaired Single Image De-hazing via Adversarial Training

Zahra Anvari, Vassilis Athitsos|ArXiv.org|Aug 15, 2020

Image Enhancement Techniques参考文献 40被引用 24

一句话总结

本文提出 Dehaze-GLCGAN，一种新颖的无配对单图像去雾方法，采用带有编码器-解码器生成器和感知/颜色损失的全局-局部循环一致性生成对抗网络（GAN）。该方法在基准数据集上实现了最先进的峰值信噪比（PSNR）和结构相似性（SSIM）表现，优于配对与无配对方法，且仅使用 ITS 数据集的 20% 进行训练，证明了其在更少数据下无需真实标签监督即可实现卓越性能。

ABSTRACT

Single image de-hazing is a challenging problem, and it is far from solved. Most current solutions require paired image datasets that include both hazy images and their corresponding haze-free ground-truth images. However, in reality, lighting conditions and other factors can produce a range of haze-free images that can serve as ground truth for a hazy image, and a single ground truth image cannot capture that range. This limits the scalability and practicality of paired image datasets in real-world applications. In this paper, we focus on unpaired single image de-hazing and we do not rely on the ground truth image or physical scattering model. We reduce the image de-hazing problem to an image-to-image translation problem and propose a dehazing Global-Local Cycle-consistent Generative Adversarial Network (Dehaze-GLCGAN). Generator network of Dehaze-GLCGAN combines an encoder-decoder architecture with residual blocks to better recover the haze free scene. We also employ a global-local discriminator structure to deal with spatially varying haze. Through ablation study, we demonstrate the effectiveness of different factors in the performance of the proposed network. Our extensive experiments over three benchmark datasets show that our network outperforms previous work in terms of PSNR and SSIM while being trained on smaller amount of data compared to other methods.

研究动机与目标

• 为解决单图像去雾中配对数据集的局限性，即真实场景中无雾条件多变的问题。
• 开发一种可扩展、实用的去雾解决方案，不依赖真实标签图像或物理散射模型。
• 通过无配对数据提升去雾性能，指标包括 PSNR、SSIM 和视觉质量。
• 设计一种能有效处理空间变化雾霾并保留图像细节的生成器与判别器架构。
• 证明对抗训练结合感知损失与颜色损失可生成更真实、更自然的无雾图像。

提出的方法

• 提出一种全局-局部判别器架构，分别处理全局与局部特征，以更好地应对空间变化的雾霾。
• 引入基于编码器-解码器结构并结合残差块的生成器，以在去雾过程中保留图像细节。
• 采用循环一致性 GAN 框架实现无配对图像到图像的转换，无需配对训练数据。
• 结合定制化的循环感知损失与颜色损失，以提升视觉真实感并减少颜色失真。
• 端到端训练模型，损失函数包括对抗损失、循环一致性损失、感知损失和颜色损失。
• 仅使用 ITS 数据集的 20% 进行训练，展示了相较于先前方法更高的数据效率。

实验结果

研究问题

• RQ1 基于 GAN 的方法是否能在无配对训练数据下实现最先进的去雾性能？
• RQ2 全局-局部判别器结构在处理空间变化雾霾方面有多有效？
• RQ3 结合感知损失与颜色损失是否能提升去雾图像的视觉质量？
• RQ4 结合残差块的循环一致性框架是否能在 PSNR 和 SSIM 上超越现有无配对去雾方法？
• RQ5 在不牺牲性能的前提下，无配对去雾中的数据效率可提升到何种程度？

主要发现

• 在 SOTS 户外数据集上，Dehaze-GLCGAN 实现 PSNR 23.0276 和 SSIM 0.9165，优于所有先前方法（包括配对方法）。
• 在 NYU-Depth 数据集上，该方法实现 PSNR 15.9780 和 SSIM 0.8208，超越无配对基线方法如 CycleGAN 和 Cycle-Dehaze。
• 在 Middlebury 数据集上，Dehaze-GLCGAN 实现 PSNR 15.6802 和 SSIM 0.8482，展现出在多样化测试集上的强大泛化能力。
• 该模型显著减少了先前方法（如 DCP 和 AOD-Net）常见的颜色失真与过曝问题。
• 定性结果表明，与 EPDN、AOD-Net 和 CycleGAN 相比，其在细节恢复和图像自然感生成方面表现更优。
• 尽管仅使用 ITS 数据集的 20%，Dehaze-GLCGAN 在 PSNR 和 SSIM 上仍优于在完整数据集上训练的方法。