[论文解读] Fine-grained Text and Image Guided Point Cloud Completion with CLIP Model

Wei Song, Jun Zhou+4 more|arXiv (Cornell University)|Aug 17, 2023

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用 3

一句话总结

本文提出FTPNet，一种新颖的点云补全框架，利用基于CLIP的视觉-语言模型融合细粒度的文本与图像模态信息，以提升3D形状重建质量。通过引入多阶段融合策略和自定义的细粒度文本语料库，该方法在性能上达到当前最先进水平，相较于XMFNet，Chamfer Distance降低19.68%，F-Score降低5.78%。

ABSTRACT

This paper focuses on the recently popular task of point cloud completion guided by multimodal information. Although existing methods have achieved excellent performance by fusing auxiliary images, there are still some deficiencies, including the poor generalization ability of the model and insufficient fine-grained semantic information for extracted features. In this work, we propose a novel multimodal fusion network for point cloud completion, which can simultaneously fuse visual and textual information to predict the semantic and geometric characteristics of incomplete shapes effectively. Specifically, to overcome the lack of prior information caused by the small-scale dataset, we employ a pre-trained vision-language model that is trained with a large amount of image-text pairs. Therefore, the textual and visual encoders of this large-scale model have stronger generalization ability. Then, we propose a multi-stage feature fusion strategy to fuse the textual and visual features into the backbone network progressively. Meanwhile, to further explore the effectiveness of fine-grained text descriptions for point cloud completion, we also build a text corpus with fine-grained descriptions, which can provide richer geometric details for 3D shapes. The rich text descriptions can be used for training and evaluating our network. Extensive quantitative and qualitative experiments demonstrate the superior performance of our method compared to state-of-the-art point cloud completion networks.

研究动机与目标

• 解决现有多模态点云补全过程中的泛化能力有限及细粒度语义理解不足的问题。
• 通过整合丰富且细粒度的文本描述作为辅助指导，提升3D形状重建质量。
• 通过利用大规模图像-文本对预训练的CLIP模型，缓解多模态训练中的数据稀缺问题。
• 设计一种多阶段特征融合策略，有效结合视觉、文本与几何特征，融入补全过程。
• 构建一个新型多类别、细粒度的3D物体文本语料库，以支持文本引导补全过程的训练与评估。

提出的方法

• 利用CLIP视觉-语言模型作为预训练编码器，从大规模图像-文本数据中提取具有强泛化能力的鲁棒视觉与文本特征。
• 提出一种多阶段特征融合策略，分阶段将文本与视觉特征逐步融入主干网络。
• 设计一种自动细粒度文本生成方法，为多类别3D物体生成详细且富含几何信息的描述。
• 构建一个新数据集iPC-Text，包含配对的3D点云与细粒度文本描述，用于训练与评估。
• 采用双分支编码器架构：一个用于图像特征（来自CLIP），一个用于文本特征（来自CLIP），并通过交叉注意力机制对齐模态特异性表示。
• 应用一种渐进式优化网络，利用融合的多模态特征对不完整点云进行细化，提升结构与几何精度。

实验结果

研究问题

• RQ1 细粒度的文本描述是否能显著提升点云补全过程对不完整3D形状的语义与几何理解？
• RQ2 通过预训练的CLIP模型实现图像与文本的多模态融合，如何增强模型的泛化能力与重建质量？
• RQ3 在深度学习点云补全过程的框架中，视觉、文本与几何特征的最佳融合策略是什么？
• RQ4 文本描述的丰富性与具体性在多大程度上影响重建3D形状的质量？
• RQ5 自监督预训练的视觉-语言模型（如CLIP）是否能有效将知识迁移至低资源3D补全过程？

主要发现

• 所提出的FTPNet相较于SOTA方法XMFNet，Chamfer Distance降低19.68%，F-Score降低5.78%。
• iPC-Text数据集分别带来CD与F-Score 1.86%和0.48%的性能提升，证明了细粒度文本描述的价值。
• 多阶段融合优于早期或晚期融合，两阶段策略通过有效保留与整合互补信息，取得最佳结果。
• 丰富的文本描述显著提升重建质量，尤其在恢复灯杆、椅腿、桌边等精细几何结构方面表现突出。
• 具有误导性或错误的文本描述会降低模型性能，证实模型对文本输入的语义一致性具有强依赖性。
• 人工精心设计的高精度文本描述可进一步提升重建精度，表明模型能从高质量语言监督中获益。