[论文解读] A Fusion Adversarial Underwater Image Enhancement Network with a Public Test Dataset

Hanyu Li, Jingjing Li+1 more|arXiv (Cornell University)|Jun 17, 2019

Image Enhancement Techniques参考文献 42被引用 124

一句话总结

论文介绍了一个融合对抗网络（FGAN）用于水下图像增强和一个公开测试数据集（U45），在快速测试和较少参数的前提下实现了与高质量相当的效果，并附有消融研究和应用测试。

ABSTRACT

Underwater image enhancement algorithms have attracted much attention in underwater vision task. However, these algorithms are mainly evaluated on different data sets and different metrics. In this paper, we set up an effective and pubic underwater test dataset named U45 including the color casts, low contrast and haze-like effects of underwater degradation and propose a fusion adversarial network for enhancing underwater images. Meanwhile, the well-designed the adversarial loss including Lgt loss and Lfe loss is presented to focus on image features of ground truth, and image features of the image enhanced by fusion enhance method, respectively. The proposed network corrects color casts effectively and owns faster testing time with fewer parameters. Experiment results on U45 dataset demonstrate that the proposed method achieves better or comparable performance than the other state-of-the-art methods in terms of qualitative and quantitative evaluations. Moreover, an ablation study demonstrates the contributions of each component, and the application test further shows the effectiveness of the enhanced images.

研究动机与目标

• 为公开、具有代表性的水下图像测试数据集的需求提供动机，能够捕捉色偏、低对比度和雾化般的降质情况。
• 提出一个融合对抗网络（FGAN），通过融合两个输入以高效且准确地增强水下图像。
• 设计多项损失（L_gt 和 L_fe）以及谱归一化，以保留内容并提升图像质量。
• 在U45数据集上与若干先进方法进行对比评估，并进行消融研究以 isolating 组件贡献。

提出的方法

• 使用一个两输入的端到端卷积生成器，将原始水下图像与通过融合增强方法得到的图像进行融合。
• 采用灵感来自Inception的基础块，具有多尺度卷积和残差连接以提升特征学习。
• 使用带谱归一化的五层PatchGAN风格判别器，以实现稳定的对抗训练。
• 定义基于RaSGAN的目标函数（L_D^RaSGAN, L_G^RaSGAN），并结合两个保留特征的损失L_gt和L_fe（L_gt(G) = E[||x − G(y)||1], L_fe(G) = E[||x_fe − G(y)||1]）。
• 调整损失权重（λ_gt, λ_fe）以在内容保持和融合增强特征忠实之间取得平衡。
• 在256x256x3输入上进行评估，并与FE、RB、UDCP、UIBLA、DPATN、CycleGAN、WSCT和UGAN进行对比。

实验结果

研究问题

• RQ1 融合为基础的GAN架构是否能够在各种水下条件下有效纠正色偏并保持场景细节？
• RQ2 引入双输入和专门的损失项是否能在客观与主观水下图像质量方面优于现有方法？
• RQ3 谱归一化和架构块对生成质量和测试效率有何影响？
• RQ4 提出的方法在公开多样的水下测试数据集（U45）上相对于最先进方法的表现如何？
• RQ5 改进是否能够转化为对下游任务（边缘检测、目标检测）在水下场景中的益处？

主要发现

• 在U45上，FGAN在绿色、蓝色和雾状类别的UIQM和UCIQE分数上实现竞争性或优越性，相较于若干基线方法。
• FGAN提供快速的测试速度（每张256x256图像0.0286 s），参数相对较少，速度优于或匹配更大规模的模型。
• 消融研究表明谱归一化与提出的基础块都对性能提升有贡献，增加λ_fe有助于与融合增强输入的对齐。
• 在客观指标上，DPATN提升了一些分数，但在某些场景下可能视觉效果较差；FGAN在各子集上保持稳定的高UIQM。
• 定性结果表明，与若干竞争方法相比，FGAN在纠正色偏和保留细节方面（如绿场景中的珊瑚、蓝场景中的鱼）更优。
• 应用测试显示使用FGAN增强图像后，在下游任务（如can ny 边缘检测和目标检测）中表现更好。