[论文解读] Contrast and visual saliency similarity induced index for image quality assessment.

Huizhen Jia, Tonghan Wang|arXiv (Cornell University)|Aug 22, 2017

Image and Video Quality Assessment参考文献 21被引用 4

一句话总结

本文提出了一种新颖的图像质量评估（IQA）度量方法，通过结合局部对比度与全局视觉显著性特征，以预测人类对图像质量的感知。通过计算对比度与显著性质量图的加权标准差，该方法在三个基准数据集上均实现了与人类判断高度相关的性能，同时保持了计算效率。

ABSTRACT

Perceptual image quality assessment (IQA) defines/utilizes a computational model to assess the image quality in consistent with human opinions. A good IQA model should consider both the effectiveness and efficiency, while most previous IQA models are hard to reach simultaneously. So we attempt to make another effort to develop an effective and efficiency image quality assessment metric. Considering that contrast is a distinctive visual attribute that indicates the quality of an image, and visual saliency (VS) attracts the most attention of the human visual system, the proposed model utilized these two features to characterize the image local quality. After obtaining the local contrast quality map and global visual saliency quality map, we add the weighted standard deviation of the previous two quality maps together to yield the final quality score. The experimental results on three benchmark database (LIVE, TID2008, CSIQ) showed that the proposed model yields the best performance in terms of the correlation with human judgments of visual quality. Furthermore, it is more efficient when compared with other competing IQA models.

研究动机与目标

• 开发一种在有效性与效率之间取得平衡的图像质量评估模型，以解决现有IQA方法中的一个关键局限性。
• 利用对比度与视觉显著性——两种关键视觉属性——作为核心特征，以建模局部与全局的图像质量感知。
• 提升计算质量评分与人类主观判断之间的相关性，覆盖多样化的图像质量数据库。
• 确保所提出的模型在计算效率上优于现有的最先进IQA方法。

提出的方法

• 该方法通过分析图像中像素级对比度变化，计算局部对比度质量图。
• 通过识别在人类视觉系统中吸引最多注意力的区域，生成全局视觉显著性质量图。
• 通过加权标准差运算，将两种质量图——局部对比度与全局显著性——进行融合，生成最终的质量评分。
• 在标准差计算中，权重被优化以突出最符合感知重要性的图像区域。
• 该模型在三个基准数据库（LIVE、TID2008 和 CSIQ）上进行训练与验证。
• 性能通过标准相关性度量（如 PLCC、SROCC）与人类主观评分进行评估。

实验结果

研究问题

• RQ1 将局部对比度与全局视觉显著性特征相结合，是否能提升图像质量评估模型的准确性？
• RQ2 在标准基准数据集上，所提出方法与现有IQA模型相比，在性能与效率方面表现如何？
• RQ3 对比度与显著性质量图的加权标准差在多大程度上提升了与人类视觉判断的相关性？
• RQ4 所提出的模型是否在实现优异性能的同时，仍保持高效率？

主要发现

• 所提出的IQA模型在LIVE、TID2008与CSIQ基准数据库上均实现了与人类主观判断最高的相关性。
• 与竞争方法相比，该模型在Spearman等级顺序相关系数（SROCC）与皮尔逊线性相关系数（PLCC）方面均表现出更优性能。
• 该方法的计算效率高于其他最先进的IQA模型，适用于实时应用。
• 对比度与视觉显著性特征的整合显著增强了模型预测感知图像质量的能力。
• 对两种质量图的加权标准差能有效捕捉感知质量退化，优于简单平均或其它融合策略。