[论文解读] A Semi-supervised Physics-Aware Triple-Stream Underwater Image Enhancement Network

Xu, Shixuan, Hao Qi+5 more|arXiv (Cornell University)|Jul 21, 2023

Image Enhancement TechniquesComputer Science被引用 3

一句话总结

该论文提出PA-UIENet，一种物理感知的半监督双流网络，通过传输估计流（T-Stream）和环境光估计流（A-Stream）显式地从水下图像形成模型（IFM）中估计传输和环境光参数。通过将基于IFM的半监督学习框架与有标签和无标签数据相结合，该方法在五个真实世界数据集上实现了水下图像增强的最先进性能，优于八个基线方法，展现出更强的泛化能力和对多样化水下场景的鲁棒性。

ABSTRACT

Underwater images normally suffer from degradation due to the transmission medium of water bodies. Both traditional prior-based approaches and deep learning-based methods have been used to address this problem. However, the inflexible assumption of the former often impairs their effectiveness in handling diverse underwater scenes, while the generalization of the latter to unseen images is usually weakened by insufficient data. In this study, we leverage both the physics-based Image Formation Model (IFM) and deep learning techniques for Underwater Image Enhancement (UIE). To this end, we propose a novel Physics-Aware Triple-Stream Underwater Image Enhancement Network, i.e., PATS-UIENet, which comprises a Direct Signal Transmission Estimation Stream (D-Stream), a Backscatter Signal Transmission Estimation Stream (B-Stream) and an Ambient Light Estimation Stream (A-Stream). This network fulfills the UIE task by explicitly estimating the degradation parameters of a revised IFM. We also adopt an IFM-inspired semi-supervised learning framework, which exploits both the labeled and unlabeled images, to address the issue of insufficient data. To our knowledge, such a physics-aware deep network and the IFM-inspired semi-supervised learning framework have not been used for the UIE task before. Our method performs better than, or at least comparably to, sixteen baselines across four testing sets in the degradation estimation and UIE tasks. These promising results should be due to the fact that the proposed method can not only model the degradation but also learn the characteristics of diverse underwater scenes.

研究动机与目标

• 解决依赖刚性假设的先前方法在多样化水下场景中失效的问题。
• 通过利用有标签和无标签的真实世界图像，缓解基于深度学习的水下图像增强（UIE）中的数据稀缺问题。
• 通过使用基于物理的水下图像形成模型（IFM）显式建模退化参数，提升模型泛化能力。
• 开发一种新颖的半监督学习框架，结合双向监督学习与无监督退化学习，以提升训练稳定性和性能。

提出的方法

• 该方法采用双流架构：传输估计流（T-Stream）和环境光估计流（A-Stream），两者均用于从输入的退化图像中预测IFM参数。
• T-Stream估计通道特定的传输图 $ t^c(x) = \exp(-\beta^c d(x)) $，其中 $ \beta^c $ 为衰减因子，$ d(x) $ 为场景距离图。
• A-Stream估计环境光 $ A^c $，用于表征水下图像中的全局光照退化和对比度损失。
• 引入一种基于IFM的半监督学习框架，结合双向监督方案（前向增强与反向退化）和使用无标签数据的无监督方案。
• 该框架通过利用有标签数据进行监督，利用无标签数据通过退化重建实现自监督，从而减少过拟合并增强泛化能力。
• 集成残差通道变换（RCT）模块以提升特征表示能力和鲁棒性，尤其针对更易退化的红色通道。

实验结果

研究问题

• RQ1 显式估计IFM参数（传输和环境光）的物理感知深度学习模型是否能优于现有的基于先验和基于深度学习的UIE方法？
• RQ2 通过半监督学习框架结合有标签和无标签的真实世界水下图像，能否在低数据环境下提升模型泛化能力？
• RQ3 与纯监督或无监督方法相比，双向监督学习方案结合无监督退化学习在多大程度上能提升训练稳定性和性能？
• RQ4 集成残差通道变换（RCT）模块是否能提升模型鲁棒性，特别是对受水下退化影响最严重的红色通道？

主要发现

• 在Michmoret子集上，PA-UIENet实现了最高的PCC（0.71）和最低的 $ \bar{\psi} $（11.51），在传输估计和色彩恢复方面显著优于所有基线方法。
• 在Katzaa子集上，该方法实现了PCC为0.48和 $ \bar{\psi} $ 为8.75，展现出在退化参数估计和图像增强方面的强劲性能。
• 消融实验表明，加入RCT模块后，传输估计的PCC从-0.15提升至0.58，图像质量的PSNR从22.16提升至22.97，表明鲁棒性得到增强。
• 半监督学习框架（w/ Semi-Sup）在Michmoret子集上实现了最佳PCC（0.71），优于简化版本，尽管PSNR和SSIM略低，但泛化能力得到提升。
• 在Satil子集上，所有方法均表现困难，而本方法实现了PCC为0.04和 $ \bar{\psi} $ 为13.46，为所有基线中的最佳结果，表明对挑战性场景具有强适应能力。
• 在所有五个测试集上，该方法均优于或匹配最佳基线，证实其在处理多样化水下场景和退化模式方面的有效性。