[论文解读] Jointly Adversarial Network to Wavelength Compensation and Dehazing of Underwater Images

Xueyan Ding, Yafei Wang+4 more|arXiv (Cornell University)|Jul 12, 2019

Image Enhancement Techniques参考文献 43被引用 15

一句话总结

本文提出一种联合对抗性网络（JWCDN），通过将简化的水下图像形成模型嵌入生成对抗网络中，同时实现水下图像的波长补偿与去雾。该方法通过多尺度密集连接编码器-解码器结构与梯度保持损失，联合估计透射率图、波长衰减和背景光，实现在合成数据集与真实世界数据集上的最先进性能。

ABSTRACT

Severe color casts, low contrast and blurriness of underwater images caused by light absorption and scattering result in a difficult task for exploring underwater environments. Different from most of previous underwater image enhancement methods that compute light attenuation along object-camera path through hazy image formation model, we propose a novel jointly wavelength compensation and dehazing network (JWCDN) that takes into account the wavelength attenuation along surface-object path and the scattering along object-camera path simultaneously. By embedding a simplified underwater formation model into generative adversarial network, we can jointly estimates the transmission map, wavelength attenuation and background light via different network modules, and uses the simplified underwater image formation model to recover degraded underwater images. Especially, a multi-scale densely connected encoder-decoder network is proposed to leverage features from multiple layers for estimating the transmission map. To further improve the recovered image, we use an edge preserving network module to enhance the detail of the recovered image. Moreover, to train the proposed network, we propose a novel underwater image synthesis method that generates underwater images with inherent optical properties of different water types. The synthesis method can simulate the color, contrast and blurriness appearance of real-world underwater environments simultaneously. Extensive experiments on synthetic and real-world underwater images demonstrate that the proposed method yields comparable or better results on both subjective and objective assessments, compared with several state-of-the-art methods.

研究动机与目标

• 解决因光吸收与散射导致的水下图像色彩失真与可见度降低的双重挑战。
• 通过联合建模两种物理过程，克服以往方法仅分别建模散射或吸收的局限性。
• 基于固有光学特性，提出一种新型水下图像合成方法，以模拟不同水体类型的逼真退化效果。
• 通过梯度保持损失与边缘增强模块，保留边缘与纹理，提升图像质量。
• 在主观与客观评估中均优于当前最先进方法，实现卓越性能。

提出的方法

• 将简化的水下图像形成模型嵌入生成对抗网络框架中，通过专用网络模块联合估计透射率图、波长衰减与背景光。
• 设计一种多尺度密集连接编码器-解码器网络，并引入梯度保持损失，以增强透射率图估计并减少伪影。
• 引入边缘保持网络模块，以细化细节并恢复重建图像的清晰度。
• 提出一种基于固有光学特性（吸收与散射系数）的新型水下图像合成方法，以模拟不同水体类型下的真实色彩偏移、对比度下降与模糊现象。
• 通过感知损失、对抗损失与内容保持损失的组合进行网络训练，以提升图像真实感与结构保真度。
• 利用数学运算模块，将物理图像形成模型直接集成至生成对抗网络架构中，实现端到端优化。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能比独立处理更有效地联合优化水下图像的波长补偿与去雾？
• RQ2 与仅建模单一过程相比，同时建模表面-物体路径衰减与物体-相机路径散射，能否显著提升图像恢复效果？
• RQ3 基于物理先验的生成对抗网络方法在定量与定性评估中，是否能显著超越现有最先进方法？
• RQ4 基于固有光学特性的合成方法是否能生成更逼真的水下图像，从而更有效地训练与评估增强网络？
• RQ5 多尺度密集连接编码器-解码器结构与边缘保持模块对透射率图估计与最终图像质量的贡献如何？

主要发现

• 在RealB数据集上，所提JWCDN的模糊度度量最低（0.21473），UIQM最高（1.5372），优于所有对比方法。
• 在RealA数据集上，JWCDN的模糊度度量为0.21818，UIQM为1.574，表明其在客观与主观质量上均表现卓越。
• 消融实验表明，移除内容保持损失（JWCDN-woCL）后模糊度增加，而移除边缘保持模块（JWCDN-woEP）则导致色彩失真与过亮区域。
• 在SyntTest数据集上的定量结果表明，JWCDN的PSNR为21.096，SSIM为0.75712，PCQI为0.76362，显著优于缺少关键模块的变体。
• 所提出的水下图像合成方法成功模拟了不同水体类型的逼真退化模式，使训练与评估更具鲁棒性。
• 视觉对比结果证实，与基于Retinex、GDCP、UDCP、IBLA及UGAN的方法相比，JWCDN生成的图像边缘更清晰，色彩恢复更佳，且伪影更少。