[论文解读] A Review of Point Cloud Semantic Segmentation

Yuxing Xie, Jiaojiao Tian+1 more|arXiv (Cornell University)|Aug 23, 2019

Remote Sensing and LiDAR Applications参考文献 132被引用 46

一句话总结

本文对三维点云语义分割（PCSS）进行了全面且最新的综述，涵盖数据采集、基准测试、传统方法与基于深度学习的方法，以及开放性挑战。文章整合了遥感、机器人和计算机视觉应用中PCSS的最新进展，对各类技术进行了批判性比较，并指出了关键的研究空白。

ABSTRACT

3D Point Cloud Semantic Segmentation (PCSS) is attracting increasing interest, due to its applicability in remote sensing, computer vision and robotics, and due to the new possibilities offered by deep learning techniques. In order to provide a needed up-to-date review of recent developments in PCSS, this article summarizes existing studies on this topic. Firstly, we outline the acquisition and evolution of the 3D point cloud from the perspective of remote sensing and computer vision, as well as the published benchmarks for PCSS studies. Then, traditional and advanced techniques used for Point Cloud Segmentation (PCS) and PCSS are reviewed and compared. Finally, important issues and open questions in PCSS studies are discussed.

研究动机与目标

• 为研究人员和从业者提供关于三维点云语义分割（PCSS）近期发展的最新且全面的综述。
• 从遥感和计算机视觉的视角，分析三维点云数据采集与表示的演变。
• 从性能和适用性角度，比较传统方法与基于深度学习的点云分割及PCSS技术。
• 识别并讨论PCSS研究中的关键开放问题与未解决挑战。
• 总结现有基准测试与数据集，以支持可复现的评估与方法比较。

提出的方法

• 本文对2010年至今关于三维点云语义分割的研究进行了系统性文献综述。
• 对传统方法（如基于几何、聚类的方法）与基于深度学习的方法（如PointNet、PointNet++、PointCNN、DGCNN）进行分类与比较。
• 综述包括对深度模型中关键架构组件的分析，如局部特征提取、层次化处理与注意力机制。
• 利用S3DIS、ScanNet和ModelNet40等标准化基准测试评估方法性能，突出数据集特征与评估协议。
• 讨论PCSS中使用的数据预处理、增强与表示技术，包括体素化与基于图的表示方法。
• 综合各研究的发现，识别在泛化能力、鲁棒性与效率方面的趋势、局限与研究空白。

实验结果

研究问题

• RQ1 过去十年中，三维点云语义分割的主要方法论进展有哪些？
• RQ2 在基准数据集上，基于深度学习的方法与传统方法在准确率与可扩展性方面如何比较？
• RQ3 PCSS中数据表示、模型泛化与实时推理的关键挑战是什么？
• RQ4 PCSS研究中最常使用的基准测试与评估协议有哪些？它们如何影响方法开发？
• RQ5 PCSS中仍存在哪些开放性研究问题，特别是针对噪声鲁棒性、类别不平衡与域偏移问题？

主要发现

• 基于深度学习的模型（如PointNet及其变体）在标准基准测试上的语义分割准确率显著优于传统方法。
• 层次化与基于图的架构提升了局部特征学习能力，从而在复杂且稀疏的点云上取得了更优性能。
• 尽管已取得进展，但在处理长尾类别分布、域偏移以及大规模点云的实时推理方面仍存在挑战。
• 标准化基准测试（如S3DIS与ScanNet）已实现方法间的稳定比较，但评估协议的差异依然存在。
• 注意力机制与多尺度特征学习的融合提升了模型的鲁棒性与分割质量。
• 开放性问题包括：亟需更高效的模型、跨领域更好的泛化能力，以及在实际应用中提升标注效率。