[论文解读] DGD-cGAN: A Dual Generator for Image Dewatering and Restoration

Salma González-Sabbagh, Antonio Robles‐Kelly+1 more|arXiv (Cornell University)|Nov 18, 2022

Image Enhancement Techniques被引用 4

一句话总结

该论文提出DGD-cGAN，一种具有两个生成器的条件生成对抗网络，用于水下图像去水雾与色彩恢复。第一个生成器预测去水雾图像，第二个生成器利用基于物理的损失函数学习透射率和遮蔽光照分量，其基础为水下图像形成模型，在无需深度或水柱参数的情况下实现了最先进性能。

ABSTRACT

Underwater images are usually covered with a blue-greenish colour cast, making them distorted, blurry or low in contrast. This phenomenon occurs due to the light attenuation given by the scattering and absorption in the water column. In this paper, we present an image enhancement approach for dewatering which employs a conditional generative adversarial network (cGAN) with two generators. Our Dual Generator Dewatering cGAN (DGD-cGAN) removes the haze and colour cast induced by the water column and restores the true colours of underwater scenes whereby the effects of various attenuation and scattering phenomena that occur in underwater images are tackled by the two generators. The first generator takes at input the underwater image and predicts the dewatered scene, while the second generator learns the underwater image formation process by implementing a custom loss function based upon the transmission and the veiling light components of the image formation model. Our experiments show that DGD-cGAN consistently delivers a margin of improvement as compared with the state-of-the-art methods on several widely available datasets.

研究动机与目标

• 解决由于水体中光衰减和散射导致的水下图像退化问题。
• 克服现有方法依赖深度信息或在图像恢复中缺乏物理一致性的局限。
• 开发一种仅基于输入图像的深度学习方法，以恢复真实色彩并增强水下图像对比度。
• 将水下图像形成模型（UIFM）整合到GAN框架中，确保恢复图像的物理合理性。
• 通过联合优化图像一致性与色彩恢复目标，在小规模真实世界数据集上有效训练模型。

提出的方法

• 采用具有两个独立生成器和一个判别器的条件生成对抗网络架构，实现端到端图像恢复。
• 第一个生成器以水下图像为输入，输出去水雾且色彩校正后的图像。
• 第二个生成器利用基于水下图像形成模型（UIFM）推导出的自定义损失函数，估计透射率和遮蔽光照分量。
• 损失函数强制预测的去水雾图像与UIFM保持一致，最小化辐射度和散射效应之间的差异。
• 联合优化两个目标：(1) 与UIFM的物理一致性，以及(2) 使用真实空气中图像作为真实标签的色彩恢复准确性。
• 在真实世界水下数据集上训练模型，无需深度图或水柱参数。

实验结果

研究问题

• RQ1 双生成器cGAN架构是否能在不依赖深度或水柱参数的情况下有效恢复水下图像？
• RQ2 基于水下图像形成模型的物理启发损失函数，能否显著提升恢复图像的一致性与真实感？
• RQ3 联合优化去水雾与色彩恢复是否优于端到端或单目标方法？
• RQ4 在多种水下数据集上，该方法在定量指标和感知质量方面与最先进方法相比表现如何？
• RQ5 该模型是否能仅用少量训练集，泛化到具有不同程度雾霾、色彩偏移和模糊的真实水下图像？

主要发现

• 在TURBID数据集上，DGD-cGAN的SSIM（23.8426）和PSNR（0.7061）均达到最高，优于所有基线方法，包括FUnIE-GAN和CLAHE。
• 在EUVP、UIEB和UFO-120数据集上，DGD-cGAN分别取得最佳UQIM分数（3.0829、3.4184、3.1885），表明其在无真实标签情况下的优越感知质量。
• 在TURBID数据集上，DGD-cGAN对真实标签的欧氏距离（ED）最低，三色ED为2.0296，表明其具有出色的色彩保真度。
• 定性结果表明，DGD-cGAN能保留精细细节，且未引入人工色彩色调（如橙色或蓝色），而某些竞争方法则存在此类问题。
• 该方法在五个不同数据集上表现一致，证明其对不同水下环境和图像退化程度的鲁棒性。
• DGD-cGAN在所有评估指标上均优于最先进方法，包括Water-Net、Retinex和UGAN，证实其在定量与感知质量上的优越性。