[论文解读] CLIP2Scene: Towards Label-efficient 3D Scene Understanding by CLIP

Runnan Chen, Youquan Liu+7 more|arXiv (Cornell University)|Jan 12, 2023

3D Surveying and Cultural Heritage被引用 4

一句话总结

CLIP2Scene 是一种新颖的框架，通过语义驱动的跨模态对比学习，将 CLIP 的视觉-语言预训练知识迁移至 3D 点云分割。通过利用 CLIP 的文本语义进行正/负样本选择，并在图像与点云特征之间强制实现时空一致性，该方法在 nuScenes 和 ScanNet 数据集上实现了无需标注数据和少样本设置下的 3D 语义分割最先进性能，且在无任何标注数据的情况下于 ScanNet 上达到了 25.08% 的 mIoU。

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) achieves promising results in 2D zero-shot and few-shot learning. Despite the impressive performance in 2D, applying CLIP to help the learning in 3D scene understanding has yet to be explored. In this paper, we make the first attempt to investigate how CLIP knowledge benefits 3D scene understanding. We propose CLIP2Scene, a simple yet effective framework that transfers CLIP knowledge from 2D image-text pre-trained models to a 3D point cloud network. We show that the pre-trained 3D network yields impressive performance on various downstream tasks, i.e., annotation-free and fine-tuning with labelled data for semantic segmentation. Specifically, built upon CLIP, we design a Semantic-driven Cross-modal Contrastive Learning framework that pre-trains a 3D network via semantic and spatial-temporal consistency regularization. For the former, we first leverage CLIP's text semantics to select the positive and negative point samples and then employ the contrastive loss to train the 3D network. In terms of the latter, we force the consistency between the temporally coherent point cloud features and their corresponding image features. We conduct experiments on SemanticKITTI, nuScenes, and ScanNet. For the first time, our pre-trained network achieves annotation-free 3D semantic segmentation with 20.8% and 25.08% mIoU on nuScenes and ScanNet, respectively. When fine-tuned with 1% or 100% labelled data, our method significantly outperforms other self-supervised methods, with improvements of 8% and 1% mIoU, respectively. Furthermore, we demonstrate the generalizability for handling cross-domain datasets. Code is publicly available https://github.com/runnanchen/CLIP2Scene.

研究动机与目标

• 探索 CLIP 的预训练视觉-语言知识如何有助于提升 3D 场景理解，特别是减少对昂贵 3D 标注的依赖。
• 解决跨模态自监督学习中的优化冲突问题，该问题源于点云采样中语义模糊导致的负样本错误定义。
• 通过在时间上保持一致的点云特征与对应图像网格特征之间的对齐，利用多帧 LiDAR 数据的时间一致性，提升特征表示的鲁棒性。
• 在无需任何标注训练数据的情况下，实现有效的少样本与零样本 3D 语义分割。
• 通过在一种数据集上预训练并在另一数据集上微调（如在 nuScenes 上预训练，在 SemanticKITTI 上微调），证明方法在不同领域间的泛化能力。

提出的方法

• 提出一种语义驱动的跨模态对比学习框架，利用 CLIP 的文本嵌入指导正负点样本的选择，从而减少对比学习中的优化冲突。
• 引入语义一致性正则化，利用 CLIP 的文本嵌入定义语义一致的点对，用于对比损失，提升表示质量。
• 通过强制时间上一致的点云特征与对应图像网格特征之间保持特征一致性，实现空间-时间一致性正则化，即使在标定不完美时也有效。
• 放宽像素到点的映射关系，转而采用网格到网格的对应关系，以应对标定误差，提升跨模态对齐的鲁棒性。
• 采用可切换的监督机制，在训练过程中交替使用图像与点云特征，以减少误差传播并提升泛化能力。
• 将 CLIP 的文本编码器适配为从手工设计的提示中生成类别嵌入，实现无需微调的零样本推理。

实验结果

研究问题

• RQ1 CLIP 的预训练视觉-语言表征能否在无需任何 3D 标注的情况下，有效迁移至 3D 点云语义分割？
• RQ2 如何利用 CLIP 的文本语义来减少图像与点云之间跨模态对比学习中的优化冲突？
• RQ3 在结合 CLIP 特征时，将多帧 LiDAR 数据的时间一致性纳入考虑，能在多大程度上提升 3D 表示学习？
• RQ4 所提出的方法能否实现跨领域泛化，例如在 nuScenes 上预训练并在 SemanticKITTI 上评估，而无需领域特定的微调？
• RQ5 在标签效率学习场景下，特别是仅有 1% 标注数据时，该框架与现有自监督方法相比表现如何？

主要发现

• CLIP2Scene 在 ScanNet 上实现了 25.08% 的 mIoU，在 nuScenes 上实现了 20.8% 的 mIoU，用于无标注 3D 语义分割，这是首次成功实现基于 CLIP 的零样本 3D 分割。
• 在 nuScenes 上仅使用 1% 标注数据进行微调时，CLIP2Scene 相较于最先进方法 SLidR 提升了 8.1% 的 mIoU，展现出强大的少样本泛化能力。
• 在 100% 标注数据设置下，CLIP2Scene 仍比 SLidR 提升 1.1% 的 mIoU，表明在完全监督设置下也保持一致的性能增益。
• 该方法具备跨领域泛化能力：在 nuScenes 上预训练并在 SemanticKITTI 上微调，其性能优于最先进自监督方法。
• 消融实验表明，语义一致性正则化与空间-时间正则化均至关重要，每个组件对最终性能均有显著贡献。
• 可切换监督机制有效减少误差传播并增强特征学习，如所有评估协议下性能提升所示。