[论文解读] GrowSP: Unsupervised Semantic Segmentation of 3D Point Clouds

Zi‐Hui Zhang, Bo Yang+2 more|arXiv (Cornell University)|May 25, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

GrowSP 提出了一种针对真实世界点云的首个纯无监督 3D 语义分割方法，无需任何人工标注或预训练模型。它采用渐进式超点生长策略，通过特征提取器、超点构建器和聚类模块学习有意义的语义基元，在 S3DIS 和 SemanticKITTI 数据集上实现了接近全监督方法的性能。

ABSTRACT

We study the problem of 3D semantic segmentation from raw point clouds. Unlike existing methods which primarily rely on a large amount of human annotations for training neural networks, we propose the first purely unsupervised method, called GrowSP, to successfully identify complex semantic classes for every point in 3D scenes, without needing any type of human labels or pretrained models. The key to our approach is to discover 3D semantic elements via progressive growing of superpoints. Our method consists of three major components, 1) the feature extractor to learn per-point features from input point clouds, 2) the superpoint constructor to progressively grow the sizes of superpoints, and 3) the semantic primitive clustering module to group superpoints into semantic elements for the final semantic segmentation. We extensively evaluate our method on multiple datasets, demonstrating superior performance over all unsupervised baselines and approaching the classic fully-supervised PointNet. We hope our work could inspire more advanced methods for unsupervised 3D semantic learning.

研究动机与目标

• 解决人工标注 3D 点云数据集在语义分割中的高成本与不切实际的问题。
• 消除在 3D 语义分割中对预训练模型或任何形式的人工监督的依赖。
• 通过自监督学习直接从原始、非结构化的点云中发现复杂语义类别。
• 开发一种可扩展的、端到端的无监督流程，无需标签即可学习语义结构。
• 证明语义基元可通过稀疏 3D 数据中的渐进邻域扩展自然涌现。

提出的方法

• 基于未训练神经网络（例如 SparseConv）的逐点特征提取器，从原始点云中学习初始点特征。
• 超点构建器在训练过程中逐步将局部邻域扩展为更大的超点，以增强语义一致性。
• 渐进式训练策略，鼓励生长超点内部特征相似，同时拉远不同超点之间的特征。
• 语义基元聚类模块，利用学习到的特征对超点进行聚类（例如 K-means），划分为语义类别。
• 该方法完全无监督，仅依赖于空间结构和生长超点之间的特征一致性。
• 不使用预训练或人工标注数据；所有学习均由超点的几何与结构演化驱动。

实验结果

研究问题

• RQ1 是否可以在不依赖任何人工标注标签或预训练模型的前提下实现 3D 语义分割？
• RQ2 渐进式超点生长是否能实现从原始 3D 点云中发现有意义的语义基元？
• RQ3 对生长超点进行无监督聚类能否实现与全监督方法相媲美的性能？
• RQ4 与直接迁移无监督 2D 方法或自监督预训练相比，渐进式超点策略有何优势？
• RQ5 超点大小与生长策略对学习到的语义分割质量有何影响？

主要发现

• 在 S3DIS 数据集上，GrowSP 实现了 38.3% 的平均交并比（mIoU），显著优于所有无监督基线方法，并接近全监督 PointNet 的性能。
• 在 SemanticKITTI 数据集上，GrowSP 实现了 14.3% 的 mIoU，超越所有无监督方法，展现出在大规模室外场景中的强大泛化能力。
• 该方法在复杂类别（如 'car'、'truck' 和 'building'）上大幅领先于 IIC、PICIE 及其变体。
• 渐进式超点生长策略使模型能够发现点级别无法识别的语义基元，即使在稀疏区域亦然。
• 在 S3DIS 的 'wall' 类别上，GrowSP 达到 76.0% 的 mIoU，表明其在平面与结构元素上的优异表现。
• 消融实验确认，渐进式生长机制至关重要，静态超点或固定邻域大小会导致性能显著下降。