[论文解读] CLIP2Point: Transfer CLIP to Point Cloud Classification with Image-Depth Pre-training

Tianyu Huang, Bowen Dong+5 more|arXiv (Cornell University)|Oct 3, 2022

Advanced Vision and Imaging被引用 14

一句话总结

CLIP2Point 提出了一种新颖的图像-深度预训练方法，通过在 ShapeNet 渲染的 52,460 对图像-深度图上进行对比学习训练深度编码器，将 CLIP 的视觉-语言知识迁移至 3D 点云分类任务。该方法利用门控双路径适配器高效融合 CLIP 与 CLIP2Point 特征，在零样本、少样本和全监督点云分类任务中均达到最先进性能。

ABSTRACT

Pre-training across 3D vision and language remains under development because of limited training data. Recent works attempt to transfer vision-language pre-training models to 3D vision. PointCLIP converts point cloud data to multi-view depth maps, adopting CLIP for shape classification. However, its performance is restricted by the domain gap between rendered depth maps and images, as well as the diversity of depth distributions. To address this issue, we propose CLIP2Point, an image-depth pre-training method by contrastive learning to transfer CLIP to the 3D domain, and adapt it to point cloud classification. We introduce a new depth rendering setting that forms a better visual effect, and then render 52,460 pairs of images and depth maps from ShapeNet for pre-training. The pre-training scheme of CLIP2Point combines cross-modality learning to enforce the depth features for capturing expressive visual and textual features and intra-modality learning to enhance the invariance of depth aggregation. Additionally, we propose a novel Dual-Path Adapter (DPA) module, i.e., a dual-path structure with simplified adapters for few-shot learning. The dual-path structure allows the joint use of CLIP and CLIP2Point, and the simplified adapter can well fit few-shot tasks without post-search. Experimental results show that CLIP2Point is effective in transferring CLIP knowledge to 3D vision. Our CLIP2Point outperforms PointCLIP and other self-supervised 3D networks, achieving state-of-the-art results on zero-shot and few-shot classification.

研究动机与目标

• 为弥合 CLIP 图像预训练与 3D 点云任务之间的领域差距，后者受限于 3D-语言预训练数据的稀缺。
• 通过深度图将 CLIP 的视觉-语言知识适配至 3D，以提升零样本和少样本点云分类性能。
• 开发一种预训练方案，使深度特征与 CLIP 的视觉特征对齐，同时保持对多视角变化的不变性。
• 设计一种高效的适配器模块，用于融合 CLIP 与 CLIP2Point 表示，以支持下游 3D 任务。

提出的方法

• 在从 ShapeNet 3D 模型渲染的 52,460 对多视角图像-深度图上，使用对比学习预训练深度编码器。
• 采用跨模态对比学习，将深度特征与 CLIP 的图像特征对齐，从而减小领域差距。
• 在深度图上应用模态内对比学习，以增强对视角变化的不变性并提升特征一致性。
• 引入一种新型深度图渲染设置，使用最小深度值和膨胀率，生成更接近 CLIP 训练分布的视觉真实感深度图。
• 提出一种门控双路径适配器（GDPA），包含两个并行编码器（CLIP 与 CLIP2Point），每个编码器均配备全局视图聚合器和可学习门控融合机制。
• 在预训练期间冻结 CLIP 图像编码器，微调深度编码器，从而实现知识向下游 3D 任务的迁移。

实验结果

研究问题

• RQ1 在图像-深度对上进行对比预训练是否能有效将 CLIP 的视觉-语言知识迁移至 3D 点云分类？
• RQ2 深度图渲染设置的选择如何影响下游 3D 分类任务的性能？
• RQ3 具有门控融合的双路径适配器在结合 CLIP 与 CLIP2Point 特征时，能在多大程度上提升特征表示能力？
• RQ4 在 ShapeNet 合成深度图上进行预训练是否能泛化至真实世界 3D 视觉基准？
• RQ5 在零样本、少样本和全监督设置下，CLIP2Point 与现有 3D 迁移学习和预训练方法相比表现如何？

主要发现

• CLIP2Point 在 ModelNet10、ModelNet40 和 ScanObjectNN 上的零样本、少样本和全监督点云分类任务中均达到最先进性能。
• 使用最小深度值渲染设置在 ModelNet10 上实现 24.87% 的零样本准确率，显著优于加权深度设置（16.86%），提升超过 8 个百分点。
• 在深度图渲染中使用膨胀率 R=2 时达到最佳平衡，零样本准确率达 29.71%；而更高的膨胀率（R=4）因模糊效应导致性能下降。
• 门控双路径适配器将 ModelNet10 上的少样本准确率提升至 89.79%，显著优于单路径基线模型及消融变体。
• 特征可视化结果表明，与基线方法相比，使用 CLIP2Point 进行预训练可使特征空间中的类别分离效果更优。
• 采用预训练深度编码器与 CLIP 编码器的双路径结构，其准确率高于仅用 CLIP 初始化双路径的设置（87.20% vs. 87.46%），证明了知识互补融合的有效性。