[论文解读] Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided Resampling

Wei Zhou, Qi Yang+3 more|arXiv (Cornell University)|Aug 31, 2022

Image and Video Quality Assessment被引用 8

一句话总结

本文提出结构引导重采样（SGR）方法，一种用于3D密集点云的盲/无参考质量评估方法，通过基于法向量的关键点重采样与区域构建，提取几何密度、颜色自然度和角度一致性特征。该方法在多个主观数据库上实现最先进性能，使用支持向量回归（SVR）在SJTU数据库上达到SROCC 0.91和PLCC 0.93。

ABSTRACT

Objective quality assessment of 3D point clouds is essential for the development of immersive multimedia systems in real-world applications. Despite the success of perceptual quality evaluation for 2D images and videos, blind/no-reference metrics are still scarce for 3D point clouds with large-scale irregularly distributed 3D points. Therefore, in this paper, we propose an objective point cloud quality index with Structure Guided Resampling (SGR) to automatically evaluate the perceptually visual quality of 3D dense point clouds. The proposed SGR is a general-purpose blind quality assessment method without the assistance of any reference information. Specifically, considering that the human visual system (HVS) is highly sensitive to structure information, we first exploit the unique normal vectors of point clouds to execute regional pre-processing which consists of keypoint resampling and local region construction. Then, we extract three groups of quality-related features, including: 1) geometry density features; 2) color naturalness features; 3) angular consistency features. Both the cognitive peculiarities of the human brain and naturalness regularity are involved in the designed quality-aware features that can capture the most vital aspects of distorted 3D point clouds. Extensive experiments on several publicly available subjective point cloud quality databases validate that our proposed SGR can compete with state-of-the-art full-reference, reduced-reference, and no-reference quality assessment algorithms.

研究动机与目标

• 解决3D密集点云缺乏通用、可解释的无参考（NR）质量评估方法的问题。
• 开发一种方法，模拟人眼视觉系统（HVS）对3D点云结构信息的敏感性。
• 在无需参考数据的前提下，提取与感知相关的特征——几何密度、颜色自然度和角度一致性。
• 通过实验验证基于法向量的结构引导重采样在提升质量预测性能方面的有效性。
• 在公开的主观数据库上，证明该方法优于现有的深度学习与统计方法驱动的NR模型。

提出的方法

• 通过法向量进行区域预处理，以识别关键点并构建局部区域，增强结构表征能力。
• 提取三类质量感知特征：(1) 几何密度，(2) 颜色自然度，(3) 角度一致性，基于HVS与自然性规律设计。
• 关键点重采样由法向量引导，确保采样均匀且具有结构敏感性，优于基于几何或颜色的替代方法。
• 框架采用支持向量回归（SVR）与随机森林回归（RFR）从提取特征中预测质量分数。
• 通过实验优化每个区域的法向量数量，发现12个法向量时性能最佳。
• 该方法端到端运行，无需参考点云，且设计为可解释且通用。

实验结果

研究问题

• RQ1 基于法向量的结构引导重采样是否能提升3D点云盲质量评估性能？
• RQ2 几何密度、颜色自然度与角度一致性特征在感知质量预测中的贡献如何？
• RQ3 所提方法是否在多样化主观数据库上优于现有最先进NR模型？
• RQ4 每个区域中法向量的最优数量是多少，以实现最佳特征提取与性能表现？
• RQ5 该方法是否能在无参考数据条件下实现与人类主观评分的高相关性？

主要发现

• 在SJTU数据库上，SGR使用SVR实现SROCC 0.89与PLCC 0.93，优于最先进方法PQA-Net（SROCC: 0.82，PLCC: 0.85）。
• 在IRPC数据库上，SGR实现SROCC 0.68与PLCC 0.89，显著优于PQA-Net（SROCC: 0.40，PLCC: 0.58）。
• 消融实验表明，结合几何密度与颜色自然度特征可提升性能（SROCC: 0.78），而加入角度一致性后达到最佳结果（SROCC: 0.89）。
• 基于法向量的关键点重采样优于基于几何或颜色的方法，SROCC分别为0.89、0.85与0.86。
• 最优法向量数量为12，性能在11、13、15等数量下均下降（SROCC: 0.89，12个时最佳）。
• 该方法在M-PCCD、SJTU与IRPC等多个数据库上均表现出强泛化能力，证实其鲁棒性与有效性。