[论文解读] Deep Learning for 3D Point Cloud Understanding: A Survey

Haoming Lu, Humphrey Shi|arXiv (Cornell University)|Sep 18, 2020

3D Shape Modeling and Analysis参考文献 135被引用 27

一句话总结

本综述全面概述了用于3D点云理解的深度学习方法，涵盖分类、分割、检测、跟踪、配准及数据增强。系统性地回顾了最先进模型、基准数据集及挑战，如排列不变性与稀疏性问题，突出介绍了PointNet和PointNet++等关键架构及其在各类任务中的演进。

ABSTRACT

The development of practical applications, such as autonomous driving and robotics, has brought increasing attention to 3D point cloud understanding. While deep learning has achieved remarkable success on image-based tasks, there are many unique challenges faced by deep neural networks in processing massive, unstructured and noisy 3D points. To demonstrate the latest progress of deep learning for 3D point cloud understanding, this paper summarizes recent remarkable research contributions in this area from several different directions (classification, segmentation, detection, tracking, flow estimation, registration, augmentation and completion), together with commonly used datasets, metrics and state-of-the-art performances. More information regarding this survey can be found at: https://github.com/SHI-Labs/3D-Point-Cloud-Learning.

研究动机与目标

• 提供一个结构化、最新的综述，涵盖多种任务中用于3D点云理解的深度学习技术。
• 识别并分析使用深度神经网络处理非结构化、噪声大且稀疏的3D点云时的核心挑战。
• 总结关键3D视觉任务的最先进模型、数据集、评估指标与性能基准。
• 突出展示在数据质量增强方面的进展，包括补全、上采样及对抗鲁棒性。
• 通过将近期进展组织为连贯类别并提供实用实现资源，为研究人员提供参考。

提出的方法

• 将3D点云的深度学习方法分类为分类、分割、检测、跟踪、配准、数据增强及补全。
• 回顾基础模型如PointNet和PointNet++，这些模型通过共享多层感知机和T-Net实现对无序点集的排列不变性处理。
• 分析针对特定任务的改进方法，如两阶段检测器和Siamese网络，用于3D空间中的目标检测与匹配。
• 研究生成模型（如GAN和自编码器）在点云上采样与补全中的应用，包括PU-Net、PCN和RL-GAN-Net。
• 评估对抗性方法（如tree-GAN和DUP-Net）在提升点云数据对扰动与噪声鲁棒性方面的作用。
• 整合来自多个数据集（如ModelNet40、ScanNet、KITTI、nuScenes）及标准评估指标的洞见，用于跨任务比较模型性能。

实验结果

研究问题

• RQ1 深度神经网络如何在保持排列不变性的同时，有效处理无序、稀疏且含噪声的3D点云？
• RQ2 在3D点云分类、语义分割与目标检测中，最有效的架构与训练策略是什么？
• RQ3 如何利用生成模型完成不完整点云或对低分辨率数据进行上采样？
• RQ4 3D点云配准与匹配中的关键挑战是什么？深度学习模型如何应对？
• RQ5 对抗性攻击与防御如何影响3D深度学习模型的鲁棒性？哪些防御方法最有效？

主要发现

• PointNet与PointNet++建立了基础架构，实现了排列不变性，并在3D分类与分割任务中表现出高性能。
• 在ModelNet40上的最先进模型在形状分类任务中准确率超过95%，表明其在干净、合成数据上具有强大的泛化能力。
• 在语义分割方面，S3DIS与ScanNet基准测试显示，现代模型在S3DIS上的mIoU得分超过70%，在ScanNet上超过60%。
• 在3D目标检测中，PointRCNN与CenterPoint等模型在KITTI基准中对中等难度任务的mAP得分超过60%。
• 生成方法如PCN与GRNet在部分点云补全方面表现优异，Chamfer Distance等指标相比基线方法提升最高达40%。
• 对抗性训练与去噪模块（如DUP-Net中的SOR）显著提升鲁棒性，使PointNet基模型的对抗攻击成功率降低超过50%。