[论文解读] Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding

Guofeng Mei, Cristiano Saltori+5 more|arXiv (Cornell University)|Oct 6, 2022

3D Shape Modeling and Analysis被引用 6

一句话总结

该论文提出 SoftClu，一种无需数据增强的无监督3D点云表征学习方法，通过最优传输（optimal transport）实现软聚类以生成伪标签，强制执行几何空间与特征空间的一致性。在 ModelNet40、ShapeNet 和 S3DIS 上，该方法优于当前最先进（SOTA）的方法，在使用 PointNet 时于 ModelNet40 上达到 93.5% 的准确率，在使用 DGCNN 时于 S3DIS 上达到 59.2% 的 mIoU。

ABSTRACT

Unsupervised learning on 3D point clouds has undergone a rapid evolution, especially thanks to data augmentation-based contrastive methods. However, data augmentation is not ideal as it requires a careful selection of the type of augmentations to perform, which in turn can affect the geometric and semantic information learned by the network during self-training. To overcome this issue, we propose an augmentation-free unsupervised approach for point clouds to learn transferable point-level features via soft clustering, named SoftClu. SoftClu assumes that the points belonging to a cluster should be close to each other in both geometric and feature spaces. This differs from typical contrastive learning, which builds similar representations for a whole point cloud and its augmented versions. We exploit the affiliation of points to their clusters as a proxy to enable self-training through a pseudo-label prediction task. Under the constraint that these pseudo-labels induce the equipartition of the point cloud, we cast SoftClu as an optimal transport problem. We formulate an unsupervised loss to minimize the standard cross-entropy between pseudo-labels and predicted labels. Experiments on downstream applications, such as 3D object classification, part segmentation, and semantic segmentation, show the effectiveness of our framework in outperforming state-of-the-art techniques.

研究动机与目标

• 消除无监督3D点云表征学习中对数据增强的依赖，因为数据增强可能扭曲语义并需要手动调参。
• 通过利用几何空间与特征空间中的聚类结构，学习可迁移的、点级别的表征特征，而无需人工标注的标签。
• 开发一种自监督框架，避免对比学习对数据增强选择的不稳定性与敏感性。
• 提升在3D理解任务（如分类、部件分割与语义分割）中的下游性能。
• 提供一种通用的、与网络架构无关的3D点云预训练方法。

提出的方法

• SoftClu 将自监督预训练建模为一个最优传输问题，以分配点的软伪标签，确保聚类划分的平衡性。
• 通过联合原型（joint prototypes）在几何空间与特征空间中强制要求同一聚类内的点保持接近。
• 该方法在聚类点特征以生成伪标签与使用这些伪标签通过交叉熵损失训练主干网络之间交替进行。
• 其关键创新在于采用约束优化框架，通过最优传输强制实现点云在各聚类间的等分（equipartition）。
• 该方法与主干网络架构无关，可与任意点云编码器（如 PointNet 或 DGCNN）结合使用。
• 其采用可微聚类机制，支持端到端训练，且无需显式的数据增强。

实验结果

研究问题

• RQ1 我们能否在不依赖数据增强的前提下实现最先进的3D点云表征学习？
• RQ2 如何通过仅依赖几何与特征一致性，有效实现无监督的点级别特征学习？
• RQ3 结合几何与特征原型对聚类质量与下游性能有何影响？
• RQ4 该方法对聚类数量的敏感性如何？何种最优划分能获得最佳结果？
• RQ5 基于软聚类的伪标签方案是否能在迁移能力与鲁棒性方面超越对比学习？

主要发现

• 使用 PointNet 时，SoftClu 在 ModelNet40 上达到 93.5% 的准确率，优于 OcCo（92.0%）与 Jigsaw3D（90.1%）。
• 使用 DGCNN 时，SoftClu 在 ModelNet10 上达到 94.8% 的准确率，在 ModelNet40 上也达到 94.8%，超越所有基线方法。
• 在 S3DIS 上，SoftClu 使用 DGCNN 达到 85.4% 的总体准确率（OA）与 59.2% 的 mIoU，优于 CrossPoint（84.7% OA，58.4% mIoU）与 OcCo（84.6% OA，58.0% mIoU）。
• 在 SR-UNet 的语义分割任务中，SoftClu 达到 73.4% 的 mIoU 与 79.1% 的 mAcc，优于 PointContrast（70.3% mIoU）与 ContrastiveScene（72.2% mIoU）。
• 消融实验表明，同时使用几何与特征原型可获得最佳性能，且在 ModelNet40 上 64 个聚类为最优选择。
• 该方法在 V100 GPU 上每轮迭代仅增加 0.014ms 的计算开销，表明其计算成本极低。