[论文解读] Underwater Ranker: Learn Which Is Better and How to Be Better

Chunle Guo, Ruiqi Wu+5 more|arXiv (Cornell University)|Aug 14, 2022

Image Enhancement Techniques被引用 11

一句话总结

本文提出URanker，一种基于排序的水下图像质量评估（UIQA）方法，采用带有直方图先验和动态跨尺度对应机制的卷积-注意力Transformer，以建模全局与局部退化。该方法在UIQA任务上达到最先进性能，并在作为可微分损失使用时显著提升水下图像增强（UIE）效果。通过引入新数据集URankerSet及一种新颖的归一化尾部模块，进一步提升了UIE结果。

ABSTRACT

In this paper, we present a ranking-based underwater image quality assessment (UIQA) method, abbreviated as URanker. The URanker is built on the efficient conv-attentional image Transformer. In terms of underwater images, we specially devise (1) the histogram prior that embeds the color distribution of an underwater image as histogram token to attend global degradation and (2) the dynamic cross-scale correspondence to model local degradation. The final prediction depends on the class tokens from different scales, which comprehensively considers multi-scale dependencies. With the margin ranking loss, our URanker can accurately rank the order of underwater images of the same scene enhanced by different underwater image enhancement (UIE) algorithms according to their visual quality. To achieve that, we also contribute a dataset, URankerSet, containing sufficient results enhanced by different UIE algorithms and the corresponding perceptual rankings, to train our URanker. Apart from the good performance of URanker, we found that a simple U-shape UIE network can obtain promising performance when it is coupled with our pre-trained URanker as additional supervision. In addition, we also propose a normalization tail that can significantly improve the performance of UIE networks. Extensive experiments demonstrate the state-of-the-art performance of our method. The key designs of our method are discussed. We will release our dataset and code.

研究动机与目标

• 为解决现有全参考与无参考UIQA方法在多样化退化条件下评估水下图像质量的局限性。
• 开发一种基于学习的排序方法，避免依赖固定的手工设计指标或真实参考图像。
• 构建一个新的数据集URankerSet，包含多个UIE算法生成的感知排序结果，用于模型训练与评估。
• 使训练好的URanker可作为可微分损失，用于提升UIE网络性能。
• 提出一种简单但高效的归一化尾部模块，显著增强UIE模型性能。

提出的方法

• URanker模型基于高效的卷积-注意力图像Transformer架构，以捕捉多尺度特征与依赖关系。
• 直方图先验模块将水下图像的颜色分布嵌入为直方图标记，用于关注全局退化。
• 动态跨尺度对应（DCPB）机制通过自适应融合多尺度特征，建模局部退化。
• 最终预测结果由多尺度上的分类标记生成，整合多尺度上下文信息。
• 模型在包含感知排序增强结果的URankerSet数据集上，使用边缘排序损失进行训练。
• 提出一种可微分的归一化尾部模块，通过稳定特征分布来提升UIE网络性能。

实验结果

研究问题

• RQ1 基于排序的学习方法是否能在评估水下图像质量方面超越传统无参考UIQA指标（如UCIQE与UIQM）？
• RQ2 直方图先验在捕捉水下图像中全局色彩退化方面是否有效？
• RQ3 动态跨尺度特征融合是否能提升UIQA中对局部图像退化的建模能力？
• RQ4 预训练的URanker在多大程度上可作为可微分监督信号，用于提升UIE网络性能？
• RQ5 简单的归一化尾部模块是否能显著提升UIE结果的视觉质量？

主要发现

• URanker在UIQA任务上达到最先进性能，在URankerSet数据集上SRCC为0.8655，KRCC为0.7402。
• 直方图先验模块（HPM）贡献显著，若移除该模块，SRCC下降0.80%，KRCC下降0.28%。
• 动态跨尺度对应模块（DCPB）优于固定连接模式（如密集连接或邻近连接），全模型实现最佳排序准确率。
• 将预训练的URanker作为附加损失使用，可在三种UIE网络上将PSNR提升最高达2.456 dB，SSIM提升0.039。
• 所提出的归一化尾部模块将PSNR从18.857提升至22.419，SSIM从0.8682提升至0.9227，充分证明其有效性。
• 采用URanker监督与归一化尾部的NU2Net模型达到最先进性能，优于WaterNet与Ucolor。