[论文解读] Blind Image Quality Assessment via Vision-Language Correspondence: A Multitask Learning Perspective

Weixia Zhang, Guangtao Zhai+3 more|arXiv (Cornell University)|Mar 27, 2023

Image and Video Quality Assessment被引用 5

一句话总结

本文提出 LIQE，一种用于无参考图像质量评估（BIQA）的多任务学习框架，通过 CLIP 嵌入实现视觉-语言对齐，联合优化 BIQA、场景分类与失真类型识别。通过建模视觉-文本嵌入的联合概率分布并采用动态损失加权，LIQE 提升了 BIQA 性能，增强了鲁棒性，并实现了跨数据集的感知有意义的质量评分重校准。

ABSTRACT

We aim at advancing blind image quality assessment (BIQA), which predicts the human perception of image quality without any reference information. We develop a general and automated multitask learning scheme for BIQA to exploit auxiliary knowledge from other tasks, in a way that the model parameter sharing and the loss weighting are determined automatically. Specifically, we first describe all candidate label combinations (from multiple tasks) using a textual template, and compute the joint probability from the cosine similarities of the visual-textual embeddings. Predictions of each task can be inferred from the joint distribution, and optimized by carefully designed loss functions. Through comprehensive experiments on learning three tasks - BIQA, scene classification, and distortion type identification, we verify that the proposed BIQA method 1) benefits from the scene classification and distortion type identification tasks and outperforms the state-of-the-art on multiple IQA datasets, 2) is more robust in the group maximum differentiation competition, and 3) realigns the quality annotations from different IQA datasets more effectively. The source code is available at https://github.com/zwx8981/LIQE.

研究动机与目标

• 通过利用标签更易标注的辅助任务，解决无参考图像质量评估（BIQA）中的数据稀缺挑战。
• 克服 BIQA（对失真敏感）与高层视觉任务（对失真不敏感）如场景分类之间的概念冲突。
• 开发一种自动化的多任务学习框架，动态共享参数并自动加权损失，无需人工调参。
• 通过重校准，提升多样化的 IQA 数据集之间质量标注的一致性与感知意义。
• 证明尽管存在概念差异，诸如失真类型识别等辅助任务仍可提升 BIQA 性能。

提出的方法

• 使用统一的文本模板（例如，'一张城市景观的照片，带有高斯模糊，质量为差'）表示每张图像的场景类别、失真类型和质量等级。
• 利用 CLIP 将图像和文本描述编码为共享的视觉与文本嵌入，实现联合表征学习。
• 通过图像与文本嵌入之间的余弦相似度，计算三个任务的联合概率分布。
• 从联合分布中推导出每个任务的边缘概率，质量评分通过使用边缘分布的加权平均推断得出。
• 使用三重保真度损失（BIQA、场景分类、失真类型识别）的加权和进行模型优化，采用动态损失加权以自动调节权衡。
• 在合并的 IQA 数据集上端到端训练模型，添加场景和失真标签，实现参数共享与联合优化。

Figure 2 : System diagram of the proposed LIQE.

实验结果

研究问题

• RQ1 在多任务学习框架中，BIQA 是否能从场景分类和失真类型识别等辅助任务中获益？
• RQ2 如何利用视觉-语言对齐，自动学习参数共享与损失加权，以实现多任务 BIQA？
• RQ3 与概念上存在冲突的任务（如场景分类）进行联合优化，是否能提升 BIQA 性能与鲁棒性？
• RQ4 所提方法是否能将来自不同 IQA 数据集的质量评分重校准为更具感知一致性的量表？
• RQ5 各辅助任务对最终 BIQA 性能的相对贡献如何？

主要发现

• LIQE 在多个 BIQA 数据集上优于当前最先进方法，在标准与最大差异分组基准测试中均取得更高的中位数 SRCC（斯皮尔曼等级相关系数）。
• 引入失真类型识别显著提升了 BIQA 性能，表明任务间存在协同关系。
• 采用动态损失加权的模型相比等权重设置表现更优，消除了对手动超参数调优的需求。
• 训练期间冻结语言编码器会降低性能，表明质量相关概念需要在预训练基础上进行微调。
• LIQE 有效将六个不同 IQA 数据集的平均意见得分（MOS）重校准为更具感知一致性的量表，优于先前方法如 UNIQUE。
• 针对 BIQA 优化的视觉编码器表征与预训练 CLIP 存在差异，表明 BIQA 特定的优化使模型偏离了通用迁移能力，转向更专用的任务适应。

Figure 3 : gMAD competition results between UNIQUE [ 78 ] and LIQE. (a) Fixed UNIQUE at the low-quality level. (b) Fixed UNIQUE at the high-quality level. (c) Fixed LIQE at the low-quality level. (d) Fixed LIQE at the high-quality level.