[论文解读] Clustering based Point Cloud Representation Learning for 3D Analysis

Tuo Feng, Wenguan Wang+3 more|arXiv (Cornell University)|Jul 27, 2023

Remote Sensing and LiDAR ApplicationsEnvironmental Science被引用 3

一句话总结

本文提出了一种基于聚类的自监督表示学习方法，用于3D点云分割，通过在不同场景中发现潜在的子类模式，提升了对类内变化的鲁棒性。通过在点特征嵌入上进行类内聚类，并正则化特征空间以增强类间可分性和类内紧凑性，该方法在SemanticKITTI上实现了2.0–2.6%的一致mIoU提升，在S3DIS上实现了1.8–1.9%的提升，且推理开销极低。

ABSTRACT

Point cloud analysis (such as 3D segmentation and detection) is a challenging task, because of not only the irregular geometries of many millions of unordered points, but also the great variations caused by depth, viewpoint, occlusion, etc. Current studies put much focus on the adaption of neural networks to the complex geometries of point clouds, but are blind to a fundamental question: how to learn an appropriate point embedding space that is aware of both discriminative semantics and challenging variations? As a response, we propose a clustering based supervised learning scheme for point cloud analysis. Unlike current de-facto, scene-wise training paradigm, our algorithm conducts within-class clustering on the point embedding space for automatically discovering subclass patterns which are latent yet representative across scenes. The mined patterns are, in turn, used to repaint the embedding space, so as to respect the underlying distribution of the entire training dataset and improve the robustness to the variations. Our algorithm is principled and readily pluggable to modern point cloud segmentation networks during training, without extra overhead during testing. With various 3D network architectures (i.e., voxel-based, point-based, Transformer-based, automatically searched), our algorithm shows notable improvements on famous point cloud segmentation datasets (i.e.,2.0-2.6% on single-scan and 2.0-2.2% multi-scan of SemanticKITTI, 1.8-1.9% on S3DIS, in terms of mIoU). Our algorithm also demonstrates utility in 3D detection, showing 2.0-3.4% mAP gains on KITTI.

研究动机与目标

• 解决学习具有判别性但对深度、视角和遮挡变化具有鲁棒性的点云嵌入的挑战。
• 在无需显式标注的情况下，发现点云数据中的潜在细粒度子类模式。
• 通过基于聚类的正则化学习全局上下文感知的表示空间，以提升3D分割的泛化能力。
• 开发一种即插即用的训练方案，兼容多种3D网络架构（体素-based、点-based、Transformer-based），且不增加推理成本。

提出的方法

• 在所有训练场景的点嵌入上进行类内聚类，以发现隐藏的子类模式。
• 利用发现的聚类结构对嵌入空间进行正则化，以增强类间判别性并减少类内差异。
• 引入一种类似对比学习的损失函数，以促进类内特征紧凑性和类间分离性。
• 在训练过程中应用基于聚类的正则化，使其与标准监督学习框架兼容。
• 以场景无关的方式运行，将跨场景的特征进行分组，而非按场景分别训练，从而实现全局分布建模。
• 可轻松集成到现有3D分割网络（如KPConv、PTV1、Cylinder3D）中，无需架构修改或增加推理开销。

Figure 1 : ${}_{\!}$ Overview ${}_{\!}$ of ${}_{\!}$ our ${}_{\!}$ clustering ${}_{\!}$ based ${}_{\!}$ supervised ${}_{\!}$ learning ${}_{\!}$ algorithm ${}_{\!}$ for ${}_{\!}$ point ${}_{\!}$ cloud ${}_{\!}$ segmentation. ${}_{\!\!\!}$

实验结果

研究问题

• RQ1 基于聚类发现潜在子类模式是否能提升3D点云表示学习？
• RQ2 全局性的、数据集级别的聚类策略是否能带来对视角、深度和遮挡变化更强的鲁棒性？
• RQ3 在嵌入上进行无监督聚类是否能在不增加标注的情况下提升语义分割性能？
• RQ4 与标准的按场景训练相比，该方法在mIoU和跨多样化3D数据集的泛化能力方面表现如何？
• RQ5 该方法在不同3D网络架构上的泛化能力有多大？

主要发现

• 在SemanticKITTI单帧基准上，该方法在多种网络架构下均实现了2.0–2.6%的mIoU提升。
• 在多帧SemanticKITTI基准上，该方法相比基线模型实现了2.0–2.2%的mIoU提升。
• 在S3DIS数据集上，该方法实现了1.8–1.9%的mIoU增益，表明其在不同3D场景类型间具有强大的泛化能力。
• 在3D检测任务中，该方法在KITTI数据集上将mAP提升了2.0–3.4%，证实其在分割之外也具有实用价值。
• 该方法在多种架构上均一致提升性能，包括体素-based（MinkowskiNet）、点-based（KPConv）和Transformer-based（PTV1、Cylinder3D）网络。
• 定性误差图显示，该方法显著减少了在挑战性区域（如被遮挡的物体、精细结构）的误分类，尤其在SemanticKITTI和S3DIS等复杂场景中表现突出。

Figure 2 : (a) Our clustering results for five classes, i.e . , sidewalk , vegetation , road , car , and building . (b-c) t-SNE visualization of point features $\{_{\!}\bm{P}^{c\!}\}_{c}$ learned with $\mathcal{J}_{\text{CE}}$ (Eq. ${}_{\!}$ ( 5 )) and $\mathcal{J}$ (Eq. ${}_{\!}$ ( 8 )). We set $M\