[论文解读] Contrastive Semi-supervised Learning for Underwater Image Restoration via Reliable Bank

Shirui Huang, Keyan Wang+3 more|arXiv (Cornell University)|Mar 16, 2023

Image Enhancement Techniques被引用 7

一句话总结

该论文提出Semi-UIR，一种基于学生-教师框架的弱监督图像恢复方法，用于水下图像增强。该方法通过引入高质量伪标签的可靠库和对比正则化，解决了泛化能力差和确认偏见问题。通过利用MUSIQ进行可靠的伪标签选择，并借助对比学习减少过拟合，该方法在全参考和无参考基准上均达到最先进性能。

ABSTRACT

Despite the remarkable achievement of recent underwater image restoration techniques, the lack of labeled data has become a major hurdle for further progress. In this work, we propose a mean-teacher based Semi-supervised Underwater Image Restoration (Semi-UIR) framework to incorporate the unlabeled data into network training. However, the naive mean-teacher method suffers from two main problems: (1) The consistency loss used in training might become ineffective when the teacher's prediction is wrong. (2) Using L1 distance may cause the network to overfit wrong labels, resulting in confirmation bias. To address the above problems, we first introduce a reliable bank to store the "best-ever" outputs as pseudo ground truth. To assess the quality of outputs, we conduct an empirical analysis based on the monotonicity property to select the most trustworthy NR-IQA method. Besides, in view of the confirmation bias problem, we incorporate contrastive regularization to prevent the overfitting on wrong labels. Experimental results on both full-reference and non-reference underwater benchmarks demonstrate that our algorithm has obvious improvement over SOTA methods quantitatively and qualitatively. Code has been released at https://github.com/Huang-ShiRui/Semi-UIR.

研究动机与目标

• 为解决真实场景中水下图像标注数据稀缺导致的模型泛化能力受限问题。
• 克服基于均值教师方法在弱监督水下图像恢复中因伪标签不可靠而产生的不稳定性。
• 缓解基于L1的一致性损失引发的确认偏见，该偏见可能导致模型在错误预测上过拟合。
• 通过结合可靠伪标签与对比正则化，提升模型鲁棒性与性能。

提出的方法

• 可靠库用于存储教师网络历史上最佳输出，基于NR-IQA指标的单调性特性进行选择。
• 通过基于单调性的实证分析，确定MUSIQ为最可靠的NR-IQA指标，用于选择高质量伪标签以构建可靠库。
• 在均值教师框架中引入对比正则化损失，通过鼓励特征多样性，防止模型在错误预测上过拟合。
• 学生网络通过联合使用有监督损失（在标注数据上）、无标注数据上的一致性损失以及对比损失进行训练，以提升特征泛化能力。
• 采用数据增强策略（颜色抖动、高斯模糊、灰度化）提升模型鲁棒性，多种策略组合使用以获得最佳性能。
• 教师网络通过学生权重的指数移动平均（EMA）进行更新，确保伪标签生成的稳定性。

实验结果

研究问题

• RQ1 可靠的伪标签库能否提升弱监督水下图像恢复中教师预测的一致性与质量？
• RQ2 对比正则化是否能有效缓解在噪声伪标签下的确认偏见与过拟合问题？
• RQ3 哪种无参考图像质量评估（NR-IQA）指标最符合人类感知，且可被可靠用于选择高质量伪标签？
• RQ4 与标准均值教师方法及基线弱监督方法相比，可靠库与对比正则化的结合在性能与鲁棒性方面表现如何？
• RQ5 不同数据增强策略在所提框架中对最终图像恢复质量的影响程度如何？

主要发现

• 所提Semi-UIR方法在EUVP基准上达到最高PSNR（24.59）与MUSIQ（51.66），优于所有消融实验变体与最先进方法。
• 消融研究证实，结合可靠库与对比正则化可获得最佳性能，在EUVP上相比基线弱监督方法提升3.43点MUSIQ。
• 使用MUSIQ选择可靠伪标签，使testR上的PSNR较NIMA提升0.31点，较PAQ2PIQ提升0.20点。
• 采用全部三种数据增强策略的完整方法在EUVP上取得最高SSIM（0.901）与MUSIQ（51.66），验证了组合增强的有效性。
• 定性结果表明，可靠库可防止颜色失真，而对比正则化可避免过度增强，证实两者具有互补作用。
• 中间训练结果表明，教师网络在早期阶段始终优于学生网络，且两者同步提升，验证了一致性训练机制的有效性。