[论文解读] Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes

Alexandros Delitzas, Maria Parelli+5 more|arXiv (Cornell University)|Jun 4, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出 Multi-CLIP，一种对比视觉-语言预训练方法，通过将 3D 场景点云与对应的 CLIP 编码文本及多视角图像嵌入对齐，以提升 3D 视觉问答（3D-VQA）和 3D 定位视觉问答（3D-SQA）性能。通过利用 CLIP 的预训练视觉-语言表征并结合对比目标，Multi-CLIP 在 ScanQA 和 SQA3D 基准上实现最先进性能，展现出更优的语义聚类能力与 3D 场景特征的可迁移性。

ABSTRACT

Training models to apply common-sense linguistic knowledge and visual concepts from 2D images to 3D scene understanding is a promising direction that researchers have only recently started to explore. However, it still remains understudied whether 2D distilled knowledge can provide useful representations for downstream 3D vision-language tasks such as 3D question answering. In this paper, we propose a novel 3D pre-training Vision-Language method, namely Multi-CLIP, that enables a model to learn language-grounded and transferable 3D scene point cloud representations. We leverage the representational power of the CLIP model by maximizing the agreement between the encoded 3D scene features and the corresponding 2D multi-view image and text embeddings in the CLIP space via a contrastive objective. To validate our approach, we consider the challenging downstream tasks of 3D Visual Question Answering (3D-VQA) and 3D Situated Question Answering (3D-SQA). To this end, we develop novel multi-modal transformer-based architectures and we demonstrate how our pre-training method can benefit their performance. Quantitative and qualitative experimental results show that Multi-CLIP outperforms state-of-the-art works across the downstream tasks of 3D-VQA and 3D-SQA and leads to a well-structured 3D scene feature space.

研究动机与目标

• 探究是否可将 CLIP 等 2D 视觉-语言模型中蒸馏的视觉-语言知识有效迁移至 3D 场景理解，以提升视觉-语言任务性能。
• 解决学习可迁移、语义有意义的 3D 场景表征的挑战，以整合空间、视觉与语言信息。
• 开发一种预训练方法，将 3D 点云特征与 2D 多视角图像及文本描述在共享的 CLIP 嵌入空间中对齐。
• 通过新型多模态 Transformer 架构与对比预训练，提升下游 3D-VQA 和 3D-SQA 任务的性能。

提出的方法

• 提出一种基于 Transformer 架构的多模态 3D 场景编码器，用于建模 3D 扫描中物体特征之间的空间关系。
• 利用 CLIP 将同一 3D 场景的多视角图像与文本描述编码至共享嵌入空间。
• 应用对比学习目标，将 3D 场景表征与 CLIP 编码的图像和文本嵌入对齐。
• 采用对比损失函数，促使正样本对（3D 场景与其对应图像和文本）在嵌入空间中比负样本对更接近。
• 引入多视角渲染策略，生成 5 种不同的 2D 视角，以提供更丰富的视觉监督。
• 将预训练的 3D 编码器权重迁移至下游 3D-VLA 模型，并在 3D-VQA 和 3D-SQA 数据集上进行端到端微调。

实验结果

研究问题

• RQ1 能否将 CLIP 等 2D 视觉-语言模型中蒸馏的知识有效迁移至 3D 场景理解，以提升视觉-语言任务性能？
• RQ2 在 CLIP 嵌入空间中同时对齐 3D 场景表征与 2D 多视角图像及文本，是否能提升 3D-VQA 和 3D-SQA 的泛化能力与性能？
• RQ3 3D 场景的多个视角如何提升所学习 3D 表征的鲁棒性与质量？
• RQ4 在该 3D 视觉-语言预训练设置中，对比学习是否比其他对齐目标（如余弦相似度）更有效？
• RQ5 多分支对比损失中的哪些组件（文本、图像或 3D-3D）对下游性能最为关键？

主要发现

• 与先前最先进方法相比，Multi-CLIP 在 ScanQA 基准上将 Acc@0.25 提升 3.03%，Acc@0.50 提升 2.83%。
• 该模型优于从零开始训练的基线，且超越 ScanQA 基线，证明了预训练策略的有效性。
• 在 SQA3D 基准上，Multi-CLIP 实现 EM@1 得分为 48.02%，显著优于从零开始训练及消融变体。
• 消融研究证实，使用多视角可提升性能，较单视角训练提升 0.18%。
• 移除文本或图像对比损失项均导致性能下降，验证了双模态联合监督的重要性。
• T-SNE 可视化显示，预训练的 3D 场景特征形成语义一致的聚类，表明学习到的特征具有结构化与语义意义。