[论文解读] CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding

Mohamed Afham, Isuru Dissanayake+4 more|arXiv (Cornell University)|Mar 1, 2022

3D Surveying and Cultural Heritage被引用 21

一句话总结

CrossPoint 通过自监督跨模态对比学习在三维点云表示中强制 3D–2D 对齐，以获得可迁移的表示，从而在无标签的情况下改善下游的 3D 分类和分割。

ABSTRACT

Manual annotation of large-scale point cloud dataset for varying tasks such as 3D object classification, segmentation and detection is often laborious owing to the irregular structure of point clouds. Self-supervised learning, which operates without any human labeling, is a promising approach to address this issue. We observe in the real world that humans are capable of mapping the visual concepts learnt from 2D images to understand the 3D world. Encouraged by this insight, we propose CrossPoint, a simple cross-modal contrastive learning approach to learn transferable 3D point cloud representations. It enables a 3D-2D correspondence of objects by maximizing agreement between point clouds and the corresponding rendered 2D image in the invariant space, while encouraging invariance to transformations in the point cloud modality. Our joint training objective combines the feature correspondences within and across modalities, thus ensembles a rich learning signal from both 3D point cloud and 2D image modalities in a self-supervised fashion. Experimental results show that our approach outperforms the previous unsupervised learning methods on a diverse range of downstream tasks including 3D object classification and segmentation. Further, the ablation studies validate the potency of our approach for a better point cloud understanding. Code and pretrained models are available at http://github.com/MohamedAfham/CrossPoint.

研究动机与目标

• 满足无需标签的 3D 点云表示，适用于分类、分割和检测的需求。
• 利用跨模态的 3D–2D 对应将渲染的 2D 视图的知识迁移到 3D 点云。
• 提出一个联合的 intra-modal 和 cross-modal 对比学习框架（IMID 和 CMID），无需记忆库。
• 展示在合成和真实世界数据集以及骨干网络架构上的泛化能力。

提出的方法

• 包含点云骨干（PointNet 或 DGCNN）和图像骨干（ResNet）以及投影头的双分支架构。
• Intra-Modal Instance Discrimination (IMID)：通过对增强视图使用 NT-Xent 对比损失，强制对随机的 3D 点云变换保持不变性。
• Cross-Modal Instance Discrimination (CMID)：在共享的不变量空间中将点云原型与渲染的 2D 图像特征对齐，为跨模态学习创建困难正例。
• 总体损失 L = L_IMID + L_CMID，端到端训练且不使用记忆库；在预训练后舍弃图像分支以用于下游任务。
• 预训练使用 ShapeNet 及渲染的图像；下游任务仅使用点云骨干。
• 在合成和真实世界数据集上对 3D 物体分类、少样本学习和部件分割进行评估。

实验结果

研究问题

• RQ1 3D–2D 跨模态对齐是否能够提升无监督点云表示以用于下游任务？
• RQ2 将 intra-modal 与 cross-modal 对比目标结合使用与单独使用任一目标相比效果如何？
• RQ3 学得的表示是否可迁移至合成和真实世界的 3D 数据集以及多种骨干网络（PointNet、DGCNN）？
• RQ4 该方法是否在少样本和部件分割场景中也能提供收益，并与对图像的跨模态理解相关？

主要发现

• CrossPoint 在 ModelNet40 的线性评估中，使用 PointNet 和 DGCNN 骨干均超越了先前的无监督方法。
• 在 ScanObjectNN 上，CrossPoint 在 PointNet 和 DGCNN 骨干上均实现了高于先前方法的线性准确率。
• 联合的 IMID + CMID 学习目标在 ModelNet40 和 ScanObjectNN 上比任一单独目标给出持续的增益（在所述骨干上的示例分别为 +1.2% 与 +0.7%）。
• CrossPoint 预训练的骨干为 3D 部分分割提供有意义的初始化，平均 IoU 为 85.5%，优于某些先前自监督基线的 85.3%。
• 在 CIFAR-FS 少样本图像分类中，对一个以 CrossPoint 初始化的 ResNet-50 使用 RFS 进行微调，在 5-way 1-shot 和 5-shot 设置下明显优于基线。
• 该方法在骨干网络之间保持鲁棒性，并对分布外真实世界数据（ScanObjectNN）具有良好的泛化性。