[论文解读] You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment

Yi Ke Yun, Weisi Lin|arXiv (Cornell University)|Oct 14, 2023

Image and Video Quality AssessmentComputer Science被引用 3

一句话总结

该论文提出UNIQA，一种统一的深度学习框架，通过单一架构联合执行全参考（FR）和无参考（NR）图像质量评估。通过利用层次化自注意力和跨尺度交叉注意力模块，建模多层级特征中的失真与语义影响，UNIQA在FR和NR基准测试中均达到最先进性能，且在各项任务间表现一致，无需分别使用独立模型。

ABSTRACT

Although recent efforts in image quality assessment (IQA) have achieved promising performance, there still exists a considerable gap compared to the human visual system (HVS). One significant disparity lies in humans' seamless transition between full reference (FR) and no reference (NR) tasks, whereas existing models are constrained to either FR or NR tasks. This disparity implies the necessity of designing two distinct systems, thereby greatly diminishing the model's versatility. Therefore, our focus lies in unifying FR and NR IQA under a single framework. Specifically, we first employ an encoder to extract multi-level features from input images. Then a Hierarchical Attention (HA) module is proposed as a universal adapter for both FR and NR inputs to model the spatial distortion at each encoder stage. Furthermore, considering that different distortions contaminate encoder stages and damage image semantic meaning differently, a Semantic Distortion Aware (SDA) module is proposed to examine feature correlations between shallow and deep layers of the encoder. By adopting HA and SDA, the proposed network can effectively perform both FR and NR IQA. When our proposed model is independently trained on NR or FR IQA tasks, it outperforms existing models and achieves state-of-the-art performance. Moreover, when trained jointly on NR and FR IQA tasks, it further enhances the performance of NR IQA while achieving on-par performance in the state-of-the-art FR IQA. You only train once to perform both IQA tasks. Code will be released at: https://github.com/BarCodeReader/YOTO.

研究动机与目标

• 解决现有FR与NR IQA模型分别训练时存在的性能不一致及适用性有限的问题。
• 将FR与NR IQA统一于单一架构中，共享参数与训练过程，降低模型维护与部署复杂度。
• 利用注意力机制自适应输入类型（有参考或无参考），同时建模空间失真与失真对语义的影响。
• 通过捕捉编码器各阶段间的跨尺度相关性，提升在多样化失真类型下的泛化性与鲁棒性。
• 实现实时或数据受限场景下在FR与NR评估模式间切换时的性能一致性。

提出的方法

• 共享编码器（ResNet50或Swin Transformer）从输入图像中提取多层级特征，作为FR与NR任务的主干网络。
• 分层自注意力（HSA）模块根据输入类型动态调整：无参考时使用自注意力（仅处理失真特征），全参考时使用交叉注意力（处理失真与原始图像特征）。
• HSA在每个编码器阶段将注意力矩阵划分为空间块，以提升定位精度与收敛速度。
• 跨尺度交叉注意力（CSCA）模块在浅层与深层编码器特征间计算交叉注意力，以建模失真在不同尺度下对语义含义的影响。
• 框架使用单一共享头进行质量分数回归，支持FR与NR数据的端到端联合训练。
• 模型在合成数据集（TID2013、KADID-10K等）与真实数据集（LIVE、PIPAL、TID2013）上联合训练，以确保鲁棒性。

Figure 1: Illustration of the main purpose for the proposed network (the lower part in the figure), where different image pairs can be fed into the network to yield FR/NR IQA scores using the same architecture. The traditional framework is given as the upper part of the figure for easy comparison. O

实验结果

研究问题

• RQ1 单一深度学习模型能否在FR与NR图像质量评估中均实现最先进性能？
• RQ2 统一架构如何有效建模不同输入类型下空间失真与语义影响的双重特征？
• RQ3 共享架构是否能减少在FR与NR评估模式间切换时的性能不一致性？
• RQ4 跨尺度注意力能否提升对编码器各阶段间语义级失真影响的检测能力？
• RQ5 在真实应用场景中，该框架是否比专用模型更具效率与一致性？

主要发现

• UNIQA在四个合成失真数据集（TID2013、KADID-10K、PaQ-2D、LPIPS）与三个真实失真数据集（LIVE、PIPAL、TID2013）上均达到最先进性能，优于专用的FR与NR方法。
• 在TID2013（FR）上，皮尔逊相关系数（PLCC）达0.958；在PIPAL（NR）上达0.932，表现出强大泛化能力。
• UNIQA在FR与NR评分间表现出显著更高的稳定性，两项任务间PLCC差距仅为0.015，远低于先前模型的较大偏差。
• 消融实验证实HSA与CSCA模块均不可或缺：任一模块移除均导致关键基准上PLCC下降超过0.05。
• 模型对真实世界失真具有良好的泛化能力，在真实LIVE数据集上PLCC达0.921，在PIPAL上达0.918，优于现有最先进方法。
• UNIQA在各类失真类型（如噪声、模糊、压缩）下均保持高性能，且一致的注意力图表明其能有效检测语义影响。

Figure 3: Performance comparison against other FR and NR IQA models on LIVE [ 43 ] dataset. Our method achieves state-of-the-art performance on both FR and NR IQA benchmarks using the same network architecture.