[论文解读] Inferring Point Cloud Quality via Graph Similarity

Qi Yang, Zhan Ma+3 more|arXiv (Cornell University)|May 31, 2020

Optical Imaging and Spectroscopy Techniques被引用 12

一句话总结

本文提出 GraphSIM，一种新颖的3D点云客观质量评估指标，通过图信号处理建模人类视觉感知。通过提取几何关键点、构建局部图结构，并计算跨图结构的颜色梯度相似性，GraphSIM 在两个独立数据集上与主观MOS的相关性达到最先进水平，优于MPEG标准中使用的点对点指标。

ABSTRACT

We propose the GraphSIM -- an objective metric to accurately predict the subjective quality of point cloud with superimposed geometry and color impairments. Motivated by the facts that human vision system is more sensitive to the high spatial-frequency components (e.g., contours, edges), and weighs more to the local structural variations rather individual point intensity, we first extract geometric keypoints by resampling the reference point cloud geometry information to form the object skeleton; we then construct local graphs centered at these keypoints for both reference and distorted point clouds, followed by collectively aggregating color gradient moments (e.g., zeroth, first, and second) that are derived between all other points and centered keypoint in the same local graph for significant feature similarity (a.k.a., local significance) measurement; Final similarity index is obtained by pooling the local graph significance across all color channels and by averaging across all graphs. Our GraphSIM is validated using two large and independent point cloud assessment datasets that involve a wide range of impairments (e.g., re-sampling, compression, additive noise), reliably demonstrating the state-of-the-art performance for all distortions with noticeable gains in predicting the subjective mean opinion score (MOS), compared with those point-wise distance-based metrics adopted in standardization reference software. Ablation studies have further shown that GraphSIM is generalized to various scenarios with consistent performance by examining its key modules and parameters.

研究动机与目标

• 解决缺乏能准确反映具有非结构化、非均匀几何形状及叠加颜色失真之3D点云中人类感知的客观质量度量的问题。
• 克服MPEG标准中使用的点对点距离度量（如PSNR）的局限性，这些度量无法建模对边缘和高频分量的感知敏感性。
• 开发一种可扩展、鲁棒的度量方法，通过利用图信号处理原理，联合评估几何与颜色失真。
• 无论点数变化，均能实现对重采样、压缩和噪声等多样化失真类型的一致且公平的质量评估。
• 提供一种系统友好型度量方法，具有固定或输入相关参数，适用于点云处理流水线的实际部署。

提出的方法

• 对参考点云进行重采样，以提取代表高空间频率结构（如边缘和轮廓）的几何关键点。
• 基于欧氏距离和信号相似性，使用加权邻接矩阵在每个关键点周围构建局部图。
• 使用归一化的颜色值（RGB）定义图信号属性，并在每个图内计算局部颜色梯度矩（均值、方差、协方差）。
• 通过聚合每个颜色通道在局部图中所有点的颜色梯度统计量，计算局部显著性相似性特征。
• 对所有图的局部显著性特征进行池化，并在颜色通道间取平均，生成最终的相似性指数。
• 使用改进的图权重函数，结合几何与颜色接近度，基于信号分布和边界框归一化实现自适应缩放。

实验结果

研究问题

• RQ1 图信号处理能否有效应用于建模人类对非结构化3D点云中结构与颜色失真的视觉敏感性？
• RQ2 GraphSIM在多样化点云失真上的性能与标准化点对点度量（如PSNR）及现有最先进度量相比如何？
• RQ3 在图构建中同时整合几何与颜色属性在多大程度上提升了质量评估的鲁棒性与准确性？
• RQ4 GraphSIM在不同点云内容与失真类型（包括压缩、重采样和噪声）上的泛化能力如何？
• RQ5 关键设计选择（如图类型、信号类型及参数调优）对最终质量预测性能的影响是什么？

主要发现

• 在SJTU-PCQA数据集上，使用几何与颜色混合属性时，GraphSIM的PLCC为0.9417，SROCC为0.9213，显著优于仅使用几何或仅使用颜色的图类型。
• 该模型在多样化失真下表现出强鲁棒性，在SJTU-PCQA和IPRC数据库上均实现PLCC > 0.93 与 SROCC > 0.92，表明与主观MOS具有强相关性。
• 使用几何与颜色联合构建图（混合类型）时性能最佳（PLCC: 0.9417，SROCC: 0.9213），仅使用几何的图优于仅使用颜色或混合加权的图。
• 消融研究证实，GraphSIM在不同点云内容与失真类型下均保持高性能，且在PSNR和MPEG参考软件度量上持续取得显著优势。
• 模型在不同参数设置下性能稳定，关键模块如关键点提取与局部图构建对感知准确性的贡献显著。
• 在'LongDress'序列上，GraphSIM的RMSE为0.7961（混合属性），相比仅使用几何（RMSE: 1.1399）及其他配置表现出更优的准确性。