[论文解读] BASICS: Broad quality Assessment of Static point clouds In Compression Scenarios

Ali Ak, Emin Zerman+5 more|arXiv (Cornell University)|Feb 9, 2023

3D Shape Modeling and Analysis被引用 6

一句话总结

本文介绍了 BASICS，这是一个大规模、公开可用的静态点云主观质量评估数据库，涵盖多种压缩场景下的点云，包括基于学习的方法。该数据库可用于基准测试最先进的质量度量方法，结果表明 PCQM 在预测人类感知方面显著优于其他方法，尤其在 GeoCNN 压缩产生的新型失真情况下表现突出。

ABSTRACT

Point clouds have become increasingly prevalent in representing 3D scenes within virtual environments, alongside 3D meshes. Their ease of capture has facilitated a wide array of applications on mobile devices, from smartphones to autonomous vehicles. Notably, point cloud compression has reached an advanced stage and has been standardized. However, the availability of quality assessment datasets, which are essential for developing improved objective quality metrics, remains limited. In this paper, we introduce BASICS, a large-scale quality assessment dataset tailored for static point clouds. The BASICS dataset comprises 75 unique point clouds, each compressed with four different algorithms including a learning-based method, resulting in the evaluation of nearly 1500 point clouds by 3500 unique participants. Furthermore, we conduct a comprehensive analysis of the gathered data, benchmark existing point cloud quality assessment metrics and identify their limitations. By publicly releasing the BASICS dataset, we lay the foundation for addressing these limitations and fostering the development of more precise quality metrics.

研究动机与目标

• 为解决现有用于评估点云压缩质量的主观数据库在多样性、一致性与可扩展性方面的不足。
• 支持基于学习的点云压缩与质量评估方法的开发与评估。
• 提供一个标准化、一致且公开可访问的数据集，包含归一化渲染与体素化坐标，以实现可靠的基准测试。
• 支持大规模众包研究，用于评估多种压缩算法与语义内容下的感知质量。
• 识别现有客观质量度量方法的局限性，特别是在处理基于学习的编码器所产生的新型失真方面。

提出的方法

• 作者创建了 75 个具有语义意义的 3D 点云数据库，每个点云使用四种编码器（GPCC、VPCC、GeoCNN 和基线）进行压缩。
• 所有点云均采用 10 位量化进行体素化处理，以确保坐标一致性，并通过立方体体素实现稳定、无闪烁的渲染。
• 开展了一项大规模众包研究，参与的非专业观察者超过 3,500 名，采用并排（DSIS）主观测试方法对成对处理后的点云进行评分。
• 收集并分析了平均意见得分（MOS），使用统计检验（Tukey’s Honest）将成对比较分类为“相似”或“不同”，并根据顺序进一步分类为“更好”或“更差”。
• 利用该数据集对 40 种最先进的客观质量度量方法进行了基准测试，涵盖基于点云与基于渲染的方法。
• 通过在“不同 vs 相似”与“更好 vs 更差”分类任务中的 AUC 与正确分类率（CC）量化性能。

实验结果

研究问题

• RQ1 大规模、多样化且一致的主观数据库能否提升对基于学习的点云压缩方法的评估？
• RQ2 现有客观质量度量方法在预测基于学习编码器（如 GeoCNN）引入的失真下的人类感知方面表现如何？
• RQ3 当前度量方法在区分压缩点云中感知显著差异方面的局限性是什么？
• RQ4 数据集的一致性（如体素化、渲染）在多大程度上影响质量评估研究的可靠性？
• RQ5 标准化、公开可用的数据库能否作为未来点云质量评估基准测试的基础？

主要发现

• BASICS 数据库包含 75 个原始点云，每个点云压缩为 4 种版本，共生成 1,494 个处理后的点云，以及超过 3,600 次主观评估。
• 在 14,143 次成对比较中，有 9,124 次具有统计显著性，其中 4,075 次被分类为“更好”，5,049 次为“更差”。
• PCQM 在“不同 vs 相似”与“更好 vs 更差”分类任务中均取得最高的 AUC 值，显著优于所有其他度量方法，仅在后者任务中略逊于 ADM2。
• 大多数现有度量方法在 GPCC 和 VPCC 失真下表现良好，但无法准确评估 GeoCNN 引入的质量退化，表明当前度量设计存在关键缺口。
• 本研究证实，先前数据集中渲染不一致与缺乏归一化会损害评估可靠性，凸显未来数据库标准化的重要性。
• 该数据库以 CC BY-NC-SA 4.0 许可公开提供，完整访问权限将在 ICIP 2023 Grand Challenge 结束后授予。