[论文解读] GPA-Net:No-Reference Point Cloud Quality Assessment with Multi-task Graph Convolutional Network

Ziyu Shan, Qi Yang+5 more|arXiv (Cornell University)|Oct 29, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出GPA-Net，一种基于新型图卷积核（GPAConv）的多任务图卷积网络无参考点云质量评估方法，可捕捉结构和纹理失真。该方法将失真类型与程度预测作为辅助任务，并引入坐标归一化模块以实现平移、缩放和旋转不变性，在两个独立数据集上优于最先进无参考点云质量评估指标。

ABSTRACT

With the rapid development of 3D vision, point cloud has become an increasingly popular 3D visual media content. Due to the irregular structure, point cloud has posed novel challenges to the related research, such as compression, transmission, rendering and quality assessment. In these latest researches, point cloud quality assessment (PCQA) has attracted wide attention due to its significant role in guiding practical applications, especially in many cases where the reference point cloud is unavailable. However, current no-reference metrics which based on prevalent deep neural network have apparent disadvantages. For example, to adapt to the irregular structure of point cloud, they require preprocessing such as voxelization and projection that introduce extra distortions, and the applied grid-kernel networks, such as Convolutional Neural Networks, fail to extract effective distortion-related features. Besides, they rarely consider the various distortion patterns and the philosophy that PCQA should exhibit shifting, scaling, and rotational invariance. In this paper, we propose a novel no-reference PCQA metric named the Graph convolutional PCQA network (GPA-Net). To extract effective features for PCQA, we propose a new graph convolution kernel, i.e., GPAConv, which attentively captures the perturbation of structure and texture. Then, we propose the multi-task framework consisting of one main task (quality regression) and two auxiliary tasks (distortion type and degree predictions). Finally, we propose a coordinate normalization module to stabilize the results of GPAConv under shift, scale and rotation transformations. Experimental results on two independent databases show that GPA-Net achieves the best performance compared to the state-of-the-art no-reference PCQA metrics, even better than some full-reference metrics in some cases.

研究动机与目标

• 解决现有无参考点云质量评估（NR-PCQA）方法依赖体素化或投影等预处理步骤所引入的失真问题。
• 开发一种能有效捕捉不规则点云结构中失真相关特征的特征提取机制，克服基于网格的CNN的局限性。
• 通过多任务学习联合预测质量、失真类型与失真程度，增强特征表示能力。
• 通过坐标归一化模块确保质量评估对平移、缩放和旋转的不变性，符合人类感知特性。
• 在无需参考点云的前提下，实现无参考点云质量评估基准测试中的优越性能。

提出的方法

• 提出GPAConv，一种新型图卷积核，通过计算邻近点之间的方向与长度相似性，捕捉结构与纹理失真。
• 设计一个包含一个主任务（质量回归）和两个辅助任务（失真类型与程度预测）的多任务学习框架，以提升特征学习效果。
• 引入基于局部参考框架（LRF）的坐标归一化模块，重新定向局部坐标系，实现对旋转、缩放和平移的不变性。
• 采用t-SNE可视化方法，证明GPA-Net的特征空间在区分具有不同内容与失真的点云方面优于基线模型。
• 采用基于图像块的图结构构建策略，每个图像块独立处理并学习图结构，以保持局部几何特性。
• 在图特征上应用最大池化操作，随后通过全连接层进行最终质量预测。

实验结果

研究问题

• RQ1 基于新型核设计的图卷积网络能否在无需预处理的情况下，有效从不规则点云中提取与失真相关的特征？
• RQ2 通过引入失真类型与程度作为辅助任务的多任务学习，是否能提升无参考PCQA的性能？
• RQ3 基于LRF的坐标归一化模块能否在点云质量评估中实现对旋转、缩放和平移的鲁棒性？
• RQ4 在独立基准测试中，GPA-Net与最先进无参考PCQA方法相比，其SROCC与PLCC指标表现如何？
• RQ5 该模型在具有多样化内容与失真模式的点云上，泛化能力达到何种程度？

主要发现

• 在SJTU-PCQA数据集上，GPA-Net取得最高SROCC（0.886）与PLCC（0.886），优于所有最先进无参考PCQA指标。
• 在TCG-PCQA数据集上，GPA-Net实现SROCC为0.875，PLCC为0.886，展现出在独立基准上的持续优越性。
• 当移除旋转不变性时，GPA-Net性能显著下降——在绕y轴旋转180°时，SROCC降至0.837，凸显了归一化模块的有效性。
• 当局部z轴与x轴被重新对齐至全局y轴与z轴时，模型表现最佳，SROCC为0.875，PLCC为0.886，表明该轴对齐方式最有利于特征稳定性。
• t-SNE可视化结果证实，GPA-Net的特征空间在区分不同内容点云（如“Redandblack”与“Soldier”）方面优于其他编码器。
• 第一层GPA的最佳配置为25,000个关键点与100个邻居，实现了图像块构建中覆盖范围与重叠度的最佳平衡。