[论文解读] MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment

Zicheng Zhang, Wei Sun+5 more|arXiv (Cornell University)|Sep 1, 2022

3D Shape Modeling and Analysis被引用 5

一句话总结

该论文提出MM-PCQA，一种新颖的无参考点云质量评估方法，通过结合3D点云子模型与2D图像投影，利用多模态学习联合捕捉几何失真与纹理失真。通过将点云划分为子模型以保留局部模式，并使用对称交叉模态注意力机制融合基于点和基于图像的编码器特征，MM-PCQA在SJTU-PCQA、WPC和WPC2.0数据集上均达到最先进性能，显著优于现有方法。

ABSTRACT

The visual quality of point clouds has been greatly emphasized since the ever-increasing 3D vision applications are expected to provide cost-effective and high-quality experiences for users. Looking back on the development of point cloud quality assessment (PCQA) methods, the visual quality is usually evaluated by utilizing single-modal information, i.e., either extracted from the 2D projections or 3D point cloud. The 2D projections contain rich texture and semantic information but are highly dependent on viewpoints, while the 3D point clouds are more sensitive to geometry distortions and invariant to viewpoints. Therefore, to leverage the advantages of both point cloud and projected image modalities, we propose a novel no-reference point cloud quality assessment (NR-PCQA) metric in a multi-modal fashion. In specific, we split the point clouds into sub-models to represent local geometry distortions such as point shift and down-sampling. Then we render the point clouds into 2D image projections for texture feature extraction. To achieve the goals, the sub-models and projected images are encoded with point-based and image-based neural networks. Finally, symmetric cross-modal attention is employed to fuse multi-modal quality-aware information. Experimental results show that our approach outperforms all compared state-of-the-art methods and is far ahead of previous NR-PCQA methods, which highlights the effectiveness of the proposed method. The code is available at https://github.com/zzc-1998/MM-PCQA.

研究动机与目标

• 解决仅依赖3D点云或2D投影的单模态PCQA方法的局限性。
• 通过融合3D几何与2D纹理模态的互补信息，提升无参考点云质量评估性能。
• 通过用子模型切块替代点采样，保留对视觉质量至关重要的局部几何模式。
• 设计一种对称交叉模态注意力机制，有效融合跨模态的质量感知特征。
• 在无需参考点云的情况下，实现在基准PCQA数据集上的最先进性能。

提出的方法

• 将点云划分为多个子模型，以保留如点位移和下采样等局部几何模式，而非采用随机点采样。
• 从多个固定视角将同一原始点云渲染为2D投影，以捕捉纹理与语义信息。
• 使用基于点的编码器（如PointNet++）处理3D子模型，同时使用基于图像的编码器（如ResNet50）处理2D投影，以提取质量感知特征。
• 应用对称交叉模态注意力机制，建模3D与2D模态特征之间的相互依赖关系，增强跨模态表征学习。
• 将融合后的特征送入全连接层，预测最终质量分数。
• 采用SRCC与PLCC等损失函数，在无参考数据集上进行端到端训练。

实验结果

研究问题

• RQ1 将3D点云几何与2D图像投影相结合，是否能超越单模态方法，在无参考点云质量评估中实现更优性能？
• RQ2 通过子模型切块策略保留局部几何模式，是否在质量评估中优于标准点采样方法？
• RQ3 对称交叉模态注意力机制在融合3D与2D模态的互补质量感知特征方面效果如何？
• RQ4 为平衡性能与冗余性，子模型与2D投影的最佳数量是多少？
• RQ5 所提出方法在无需领域特定微调的情况下，能否在不同PCQA数据库间实现良好泛化？

主要发现

• MM-PCQA在WPC数据集上取得最高的SRCC（0.9103）与PLCC（0.9226），显著优于所有对比的最先进方法。
• 采用6个子模型与4个投影的配置性能最佳，表明在特征丰富性与冗余性之间达到最优平衡。
• 子模型的切块策略在性能上优于最远点采样，尤其在保留局部几何模式方面表现更优。
• 采用PointNet++与ResNet50作为编码器组合时性能最佳，在WPC数据集上SRCC为0.9103，PLCC为0.9226。
• 跨数据库评估表明，于WPC上训练的MM-PCQA在SJTU-PCQA与WPC2.0上均表现出良好泛化能力，甚至超越在WPC2.0上直接微调的模型。
• 消融实验验证了对称交叉模态注意力与多模态融合在显著提升质量评估准确率方面的重要作用。