[论文解读] 3D Point Cloud Descriptors in Hand-crafted and Deep Learning Age: State-of-the-Art

Xian-Feng Han, Shijie Sun+2 more|arXiv (Cornell University)|Feb 7, 2018

3D Shape Modeling and Analysis参考文献 154被引用 26

一句话总结

本文对3D点云描述子进行了全面综述，将其分类为手工设计与基于深度学习的方法。分析了其设计原理、优势、局限性及在基准测试中的性能表现，首次对两个时代的方法进行了统一回顾，并指出了在鲁棒性、大规模处理和多模态学习方面未来的关键研究方向。

ABSTRACT

The introduction of inexpensive 3D data acquisition devices has promisingly facilitated the wide availability and popularity of 3D point cloud, which attracts more attention to the effective extraction of novel 3D point cloud descriptors for accuracy of the efficiency of 3D computer vision tasks in recent years. However, how to develop discriminative and robust feature descriptors from 3D point cloud remains a challenging task due to their intrinsic characteristics. In this paper, we give a comprehensively insightful investigation of the existing 3D point cloud descriptors. These methods can principally be divided into two categories according to the advancement of descriptors: hand-crafted based and deep learning-based apporaches, which will be further discussed from the perspective of elaborate classification, their advantages, and limitations. Finally, we present the future research direction of the extraction of 3D point cloud descriptors.

研究动机与目标

• 提供涵盖手工设计与深度学习时代的3D点云描述子的全面、最新综述。
• 基于设计、表示和性能，系统性地对现有描述子进行分类与比较。
• 识别当前描述子开发中的关键挑战与局限性，特别是针对噪声、遮挡和不规则点云结构的问题。
• 强调缺乏大规模、任务特定的数据集，以及提升对大规模和真实世界点云泛化能力的迫切需求。
• 提出未来研究方向，包括多模态学习、对传感器伪影的鲁棒性，以及大规模数据的高效处理。

提出的方法

• 根据特征提取策略，将3D点云描述子分类为手工设计与基于深度学习的方法。
• 根据区域（局部、全局、混合）、参考帧类型及所用属性（几何、空间、颜色、统计）对手工设计描述子进行分类。
• 根据输入表示类型对基于深度学习的描述子进行回顾：点云、体素网格、多视角图像、Kd-树、八叉树及图结构。
• 在ModelNet40、ShapeNet和ScanNet等标准基准上评估性能，使用平均类别准确率和mIoU等指标。
• 通过已发表表格中的定量结果对比方法，包括DGCNN、PointNet++、Point2Note和SPGraph。
• 将研究发现整合为一张对比表格，总结各类描述子的关键特性、性能表现及局限性。

实验结果

研究问题

• RQ1 手工设计与基于深度学习的3D点云描述子之间在关键差异与权衡方面有何不同？
• RQ2 各种输入表示形式（如体素、多视角、图结构）如何影响基于深度学习的描述子的性能与效率？
• RQ3 当前描述子在处理真实世界挑战（如噪声、遮挡和数据缺失）方面的主要局限性是什么？
• RQ4 在推动3D点云描述子学习方面，最具前景的未来研究方向是什么？
• RQ5 多模态或联合2D-3D推理如何提升描述子的鲁棒性与泛化能力？

主要发现

• 本文首次识别出对3D点云描述子的全面综述，涵盖手工设计与基于深度学习的方法。
• 基于深度学习的方法如DGCNN、Point2Note和SPGraph实现了最先进性能，其中SPGraph在ModelNet40数据集上达到96.87%的准确率。
• Point2Note在ModelNet40上实现89.01%的准确率，展现出在局部特征学习方面的强大性能。
• 尽管已有进展，当前方法通常假设点云具有固定点数或尺寸，限制了其在大规模真实世界点云中的可扩展性。
• 对噪声和数据缺失的鲁棒性仍是挑战，但近期方法如PointCleanNet和PF-Net在去噪与补全方面展现出潜力。
• 缺乏大规模、任务特定的3D点云数据集是基于深度学习的描述子学习进一步发展的主要瓶颈。