[论文解读] Adaptive deep learning framework for robust unsupervised underwater image enhancement

Alzayat Saleh, Marcus Sheaves+2 more|arXiv (Cornell University)|Dec 18, 2022

Image Enhancement Techniques被引用 5

一句话总结

本文提出UDnet，一种新颖的无监督水下图像增强框架，采用条件变分自编码器（cVAE）结合概率自适应实例归一化（PAdaIN）以及统计引导的多色彩空间拉伸模块。该模型通过学习参考图像分布，在无真实标签的情况下实现水下图像增强，在八个公开数据集上达到最先进性能，且在无配对设置下具有强大的泛化能力。

ABSTRACT

One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .

研究动机与目标

• 解决监督训练中高质量、带标注的水下图像数据集稀缺的问题。
• 开发一种无监督深度学习框架，实现水下图像增强而无需真实标签。
• 通过参考图像的统计建模，提升水下图像的视觉质量和色彩一致性。
• 实现在真实标签不可用的无配对数据集上的鲁棒泛化能力。
• 提升水下图像感知能力，服务于机器人和环境监测应用。

提出的方法

• 该框架采用基于 U-Net 的编码器-解码器结构作为特征提取器。
• 利用概率自适应实例归一化（PAdaIN）通过随机参考图像分布对特征空间中的不确定性进行编码。
• 采用条件变分自编码器（cVAE）建模增强分布，实现无监督训练。
• 采用统计引导的多色彩空间拉伸模块，通过建模色彩通道分布，确保视觉一致性和色彩保真度。
• 仅使用原始水下图像进行训练，无需人工标注，每个训练步骤随机选取一张参考图像。
• 网络可端到端完全可训练，无需成对的真实图像与增强图像。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖成对真实标签数据的情况下实现高质量的水下图像增强？
• RQ2 在弱监督设置下，如何通过概率归一化有效建模图像增强中的不确定性？
• RQ3 统计引导的色彩空间拉伸在多大程度上能提升增强后水下图像的视觉一致性和真实感？
• RQ4 所提出的无监督框架在真实标签不可用的无配对数据集上泛化能力如何？
• RQ5 该框架能否在标准水下图像增强基准上超越现有的监督和弱监督方法？

主要发现

• 所提出的 UDnet 框架在八个公开可用的水下图像数据集的七个定量指标上均达到最先进性能。
• 该模型在无配对设置下展现出强大的泛化能力，真实标签不可用时仍优于十种现有方法。
• PAdaIN 的使用实现了自适应不确定性建模，提升了对多种水下图像失真（如色彩偏移和低对比度）的鲁棒性。
• 统计引导的多色彩空间拉伸模块有效保持了视觉一致性，并在无需真实标签的情况下增强了色彩保真度。
• 即使在训练数据有限的情况下，该框架仍取得具有竞争力的结果，证实其在低数据场景下的有效性。
• 消融实验表明，PAdaIN 和多色彩空间拉伸模块对最终增强质量均有显著贡献。