[论文解读] MetaUE: Model-based Meta-learning for Underwater Image Enhancement

Zhenwei Zhang, Haorui Yan+2 more|arXiv (Cornell University)|Mar 12, 2023

Image Enhancement Techniques被引用 7

一句话总结

本文提出 MetaUE，一种基于模型的元学习框架，用于水下图像增强，通过物理启发的图像形成模型联合估计清晰图像、透射率图和背景光。通过在合成水下数据上进行元学习预训练，并在真实数据集上微调，MetaUE 在多种水下条件下实现了卓越的泛化能力和性能，在 UIEB 和 EUVP 基准测试中，PSNR 和 SSIM 指标均优于当前最先进方法。

ABSTRACT

The challenges in recovering underwater images are the presence of diverse degradation factors and the lack of ground truth images. Although synthetic underwater image pairs can be used to overcome the problem of inadequately observing data, it may result in over-fitting and enhancement degradation. This paper proposes a model-based deep learning method for restoring clean images under various underwater scenarios, which exhibits good interpretability and generalization ability. More specifically, we build up a multi-variable convolutional neural network model to estimate the clean image, background light and transmission map, respectively. An efficient loss function is also designed to closely integrate the variables based on the underwater image model. The meta-learning strategy is used to obtain a pre-trained model on the synthetic underwater dataset, which contains different types of degradation to cover the various underwater environments. The pre-trained model is then fine-tuned on real underwater datasets to obtain a reliable underwater image enhancement model, called MetaUE. Numerical experiments demonstrate that the pre-trained model has good generalization ability, allowing it to remove the color degradation for various underwater attenuation images such as blue, green and yellow, etc. The fine-tuning makes the model able to adapt to different underwater datasets, the enhancement results of which outperform the state-of-the-art underwater image restoration methods. All our codes and data are available at \url{https://github.com/Duanlab123/MetaUE}.

研究动机与目标

• 解决真实水下图像数据集有限且退化因素多样的挑战。
• 提升在未知水下环境中的一般化能力，因为现有深度学习模型在这些环境中常会失效。
• 将物理水下图像形成模型与元学习相结合，以提升可解释性与鲁棒性。
• 开发一个可在多种水下场景中泛化的预训练模型，并可针对特定真实世界数据集进行微调。

提出的方法

• 该方法采用多变量卷积神经网络，基于物理水下图像形成模型，估计三个分量：清晰图像、背景光和透射率图。
• 设计了一种高效的损失函数，利用物理模型约束紧密整合三个估计变量。
• 应用元学习在多样化合成水下数据集上对模型进行预训练，以学习跨退化类型的共享先验知识。
• 将预训练模型在真实水下数据集上进行微调，以适应特定环境特征。
• 网络架构采用基于 UNet 的主干网络，并为每个变量设置独立的头部，实现物理一致性下的联合优化。
• 采用感知损失、对抗损失与重建损失相结合的方式，端到端训练模型，以提升图像质量和真实感。

实验结果

研究问题

• RQ1 基于模型的元学习方法能否在蓝色、绿色和黄色衰减等多样化水下图像退化类型中实现有效泛化？
• RQ2 在合成数据上通过元学习进行预训练，如何提升对真实水下数据集的零样本和少样本适应能力？
• RQ3 与纯数据驱动方法相比，整合物理水下图像形成模型在可解释性和性能方面能提升多少？
• RQ4 联合估计清晰图像、透射率图和背景光是否能带来比独立或简化估计更好的恢复效果？
• RQ5 该预训练模型能否泛化到非水下退化类型，如雾霾、低光照和沙尘暴？

主要发现

• 在 UIEB 数据集上，MetaUE 的 PSNR 达到 22.01，SSIM 达到 0.8609，优于基线模型 Plain UNet（17.54 PSNR，0.8125 SSIM）和 Meta UNet（21.12 PSNR，0.8054 SSIM）。
• 在 EUVP 数据集上，MetaUE 的 PSNR 为 22.12，SSIM 为 0.8322，优于 Plain UNet（18.76 PSNR，0.8239 SSIM）和 Meta UNet（21.24 PSNR，0.8211 SSIM）。
• 预训练模型展现出强大的零样本泛化能力，能有效去除颜色退化并在未见过的水下场景中恢复光照。
• 微调显著提升了图像的真实感和对真实世界水下数据集的适应能力，证实了领域特定微调的有效性。
• 该模型在雾霾、低光照和沙尘暴等非水下退化类型上也表现出良好泛化能力，在视觉和定量结果上均优于文献 [4] 提出的 Rank1 先验方法。
• 视觉分析与残差分析证实了背景光和透射率图的准确估计，预测清晰图像与真实值之间的误差极小。