[论文解读] All-In-One Underwater Image Enhancement using Domain-Adversarial Learning

Pritish Uplavikar, Zhenyu Wu+1 more|arXiv (Cornell University)|May 30, 2019

Image Enhancement Techniques参考文献 22被引用 74

一句话总结

单一的编码-解码网络通过对干扰分类的对抗性学习，学习水型无关的特征，从而在 Jerlov water types 下提升水下图像，并提高 SSIM/PSNR，同时对现实世界数据具有泛化能力。它还提升下游的目标检测性能。

ABSTRACT

Raw underwater images are degraded due to wavelength dependent light attenuation and scattering, limiting their applicability in vision systems. Another factor that makes enhancing underwater images particularly challenging is the diversity of the water types in which they are captured. For example, images captured in deep oceanic waters have a different distribution from those captured in shallow coastal waters. Such diversity makes it hard to train a single model to enhance underwater images. In this work, we propose a novel model which nicely handles the diversity of water during the enhancement, by adversarially learning the content features of the images by disentangling the unwanted nuisances corresponding to water types (viewed as different domains). We use the learned domain agnostic features to generate enhanced underwater images. We train our model on a dataset consisting images of 10 Jerlov water types. Experimental results show that the proposed model not only outperforms the previous methods in SSIM and PSNR scores for almost all Jerlov water types but also generalizes well on real-world datasets. The performance of a high-level vision task (object detection) also shows improvement using enhanced images with our model.

研究动机与目标

• 动机并解决跨 Jerlov water types 的水下图像分布多样性。
• 开发一个统一的基于 CNN 的增强模型，学习场景的域无关特征。
• 利用对抗学习将水型扰动与内容特征解耦。
• 在多个水型上展示相较于先前方法的定量指标（SSIM/PSNR）的提升。
• 证明对现实世界数据集的泛化能力，以及对高层任务如目标检测的益处。

提出的方法

• 使用编码-解码器（U-Net）从降质输入重建清晰的水下图像。
• 引入一个扰动分类器 D，从潜在向量 Z 预测水型以建模水型信息。
• 在编码器上应用对抗损失，使分类器置信度最小化（负熵），以学习域无关特征。
• 在 G(Z) 与地面实拍清晰图像之间优化重建损失，以确保真实还原。
• 通过分阶段的训练程序来平衡对抗训练与扰动分类器性能，确保有意义的潜在表示。
• 基于水下图像形成模型合成多水型训练集，以反映衰减和散射效应。

实验结果

研究问题

• RQ1 在不事先识别水型的情况下，单一增强模型是否能处理多种 Jerlov water types？
• RQ2 对抗性领域自适应是否有助于编码器学习水型无关特征，从而提升还原质量？
• RQ3 水型无关特征是否提高对现实世界水下图像的泛化能力，超越合成训练数据？
• RQ4 用所提方法增强水下图像是否提升下游任务如目标检测？
• RQ5 在跨水型的 SSIM/PSNR 指标上，与非对抗性基线（如 vanilla U-Net）相比，所提方法如何？

主要发现

• 所提出的 UIE-DAL 模型在合成数据上对几乎所有 Jerlov water types 的 SSIM 和 PSNR 均优于此前方法。
• 该模型对训练中未见过的现实世界水下图像具有良好泛化能力。
• 对抗训练产生域无关的潜在表示，编码按内容而非水型聚类，如 PCA 可视化所示。
• 用 UIE-DAL 增强图像在某些数据集上提升了目标检测性能（如 YOLOv3）。
• 与 vanilla U-Net 相比，对抗性训练的模型在多个水型上获得更高的 SSIM/PSNR，表明更好的还原质量。
• 该方法对水下场景多样性具有鲁棒性，并支持改进的高层次视觉任务。