[论文解读] Blind Omnidirectional Image Quality Assessment with Viewport Oriented Graph Convolutional Networks

Jiahua Xu, Wei Zhou+1 more|arXiv (Cornell University)|Feb 21, 2020

Image and Video Quality Assessment参考文献 71被引用 10

一句话总结

本文提出了一种面向视口的图卷积网络（Viewport-Oriented Graph Convolutional Network, VGCN），用于无参考全景图像质量评估（OIQA），通过空间图捕捉视口间交互以建模人类视觉系统（HVS）行为，并整合全局质量估计。该方法在两个公开的OIQA基准上实现了最先进性能，优于现有的全参考和无参考度量方法。

ABSTRACT

Quality assessment of omnidirectional images has become increasingly urgent due to the rapid growth of virtual reality applications. Different from traditional 2D images and videos, omnidirectional contents can provide consumers with freely changeable viewports and a larger field of view covering the $360^{\circ} imes180^{\circ}$ spherical surface, which makes the objective quality assessment of omnidirectional images more challenging. In this paper, motivated by the characteristics of the human vision system (HVS) and the viewing process of omnidirectional contents, we propose a novel Viewport oriented Graph Convolution Network (VGCN) for blind omnidirectional image quality assessment (IQA). Generally, observers tend to give the subjective rating of a 360-degree image after passing and aggregating different viewports information when browsing the spherical scenery. Therefore, in order to model the mutual dependency of viewports in the omnidirectional image, we build a spatial viewport graph. Specifically, the graph nodes are first defined with selected viewports with higher probabilities to be seen, which is inspired by the HVS that human beings are more sensitive to structural information. Then, these nodes are connected by spatial relations to capture interactions among them. Finally, reasoning on the proposed graph is performed via graph convolutional networks. Moreover, we simultaneously obtain global quality using the entire omnidirectional image without viewport sampling to boost the performance according to the viewing experience. Experimental results demonstrate that our proposed model outperforms state-of-the-art full-reference and no-reference IQA metrics on two public omnidirectional IQA databases.

研究动机与目标

• 为解决在真实VR应用中缺乏参考图像的情况下，盲源全景图像质量评估（OIQA）的挑战。
• 建模人类视觉系统（HVS）的观看行为，即观察者聚合局部视口质量并重构全局质量感知。
• 通过使用空间视口图与图卷积网络（GCNs）捕捉视口间的相互依赖关系，提升质量预测性能。
• 通过整合局部（视口级）与全局（整幅图像）质量估计分支，进一步提升性能。
• 开发一种通用的、与失真无关的OIQA框架，使其能泛化于多种失真类型。

提出的方法

• 该方法构建一个空间视口图，其中节点基于HVS对结构信息的敏感度，代表高概率视口。
• 通过空间关系（如角度接近度）定义节点之间的边，以建模视口间的相互作用。
• 应用图卷积网络（GCNs）对视口图进行推理，聚合局部质量特征并捕捉依赖关系。
• 通过CNN主干网络提取每个选定视口的判别性特征，作为视口描述符。
• 局部分支通过GCN聚合视口质量，而全局分支则在不进行视口采样的前提下，利用整个全景图像估计质量。
• 采用基于内容和位置的加权策略，结合通道注意力与纬度因子，优化质量聚合过程。

实验结果

研究问题

• RQ1 如何在全景图像质量评估中建模人类视觉系统基于视口的浏览与质量聚合过程？
• RQ2 图卷积网络能否有效捕捉视口间的相互依赖关系，从而提升盲源OIQA性能？
• RQ3 在局部视口分析之外整合全局质量估计，是否能增强整体感知质量预测性能？
• RQ4 基于内容与位置的加权策略如何影响视口质量聚合的性能？
• RQ5 所提出的VGCN框架能否在多种失真类型的全景图像中实现良好泛化？

主要发现

• VGCN模型在OIQA数据库上达到PLCC 0.9584与SROCC 0.9515，在CVIQD数据库上达到PLCC 0.9651与SROCC 0.9639，优于最先进方法。
• 使用图卷积网络进行视口质量聚合显著提升了性能，与全连接基线相比，RMSE在OIQA上降低至0.5967，在CVIQD上降低至3.6573。
• 全局质量估计分支相比仅使用局部分支的模型性能更优，OIQA上RMSE从0.6340降至0.5967，CVIQD上从3.9220降至3.6573。
• 内容与位置加权策略适度提升了性能，但GCN-based聚合方式带来的增益最大，证明了建模视口交互关系的重要性。
• 可视化结果表明，VGCN能正确识别高失真区域（如含噪声或模糊的平滑区域），并相应分配更低的质量评分。
• 该模型能有效区分不同类型的失真，如JPEG伪影与白噪声，其质量评分能反映纹理区域中的感知掩蔽效应。