[论文解读] Deep Learning for 3D Point Clouds: A Survey

Yulan Guo, Hanyun Wang+4 more|arXiv (Cornell University)|Dec 27, 2019

3D Shape Modeling and Analysis参考文献 252被引用 48

一句话总结

对深度学习在3D点云上的方法的综合综述，涵盖3D形状分类、对象检测/跟踪，以及点云分割，附数据集比较与未来方向。

ABSTRACT

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

研究动机与目标

• 激发并组织对3D点云深度学习方法的研究。
• 提供3D形状分类、对象检测/跟踪和分割的分类体系和前沿综述。
• 在公开数据集上比较方法并总结评价指标和趋势。
• 突出数据集和评估协议，以指导未来研究。

提出的方法

• 将方法分为多视图、体积化和基于点的方法，并以点基方法为重点。
• 调研用于3D点云的各种卷积框架，包括连续卷积和离散卷积，以及基于图和分层的方法。
• 给出对PointNet/PointNet++及其后续工作等体系结构的结构化综述，以及代表性的空间、频域和分层技术。
• 总结跨任务使用的公开数据集和评价指标。

实验结果

研究问题

• RQ1 处理3D点云的主导深度学习范式有哪些？它们在捕捉几何形状和结构方面有何差异？
• RQ2 3D点云方法在标准数据集上的关键任务（分类、检测/跟踪、分割）表现如何？
• RQ3 哪些数据集和评价指标最有助于对点云深度学习方法进行基准测试？
• RQ4 点云深度学习的主要未来方向与未解决的挑战有哪些？

主要发现

• 该综述涵盖三大核心任务：3D形状分类、3D对象检测与跟踪，以及3D点云分割。
• 它在若干公开数据集上给出比较性结果，并讨论洞见与未来方向。
• 总结了多样的数据表示（点、网格、RGB-D等）和评价指标（OA、mAcc、AP、mIoU、AMOTA、AMOTP）。
• 论文强调从多视图和体积方法向主要基于点的方法演进，并基于PointNet/PointNet++和图卷积框架构建了大量体系结构。
• 提供了一个定期更新的项目页，包含最先进的结果（GitHub项目：SoTA-Point-Cloud）。