[论文解读] Bridging the Domain Gap: Self-Supervised 3D Scene Understanding with Foundation Models

Zhimin Chen, Bing Li+2 more|arXiv (Cornell University)|May 15, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

Bridge3D 提出了一种自监督的3D场景理解框架，利用基础模型弥合3D点云与文本/图像模态之间的领域差距。通过使用基础模型生成的语义掩码和字幕，实现了场景级和物体级的知识蒸馏，显著提升了3D目标检测与语义分割性能，在ScanNet数据集上相比基线模型实现了6.3%的绝对性能提升。

ABSTRACT

Foundation models have achieved remarkable results in 2D and language tasks like image segmentation, object detection, and visual-language understanding. However, their potential to enrich 3D scene representation learning is largely untapped due to the existence of the domain gap. In this work, we propose an innovative methodology called Bridge3D to address this gap by pre-training 3D models using features, semantic masks, and captions sourced from foundation models. Specifically, our method employs semantic masks from foundation models to guide the masking and reconstruction process for the masked autoencoder, enabling more focused attention on foreground representations. Moreover, we bridge the 3D-text gap at the scene level using image captioning foundation models, thereby facilitating scene-level knowledge distillation. We further extend this bridging effort by introducing an innovative object-level knowledge distillation method that harnesses highly accurate object-level masks and semantic text data from foundation models. Our methodology significantly surpasses the performance of existing state-of-the-art methods in 3D object detection and semantic segmentation tasks. For instance, on the ScanNet dataset, Bridge3D improves the baseline by a notable margin of 6.3%. Code will be available at: https://github.com/Zhimin-C/Bridge3D

研究动机与目标

• 解决自监督3D表征学习中3D点云与文本/图像基础模型之间的领域差距。
• 通过使用图像字幕基础模型生成合成的3D场景提示，克服大规模3D-文本配对数据集稀缺的问题。
• 通过利用基础模型提供的高精度物体级掩码和语义文本数据，提升3D表征学习效果。
• 通过基础模型引导的掩码和补丁丢弃策略，聚焦前景物体特征，提升掩码自编码器的训练效果。
• 通过融合来自基础模型的3D、2D和文本特征，实现场景级与物体级的多级知识蒸馏。

提出的方法

• 利用图像字幕基础模型（如BLIP）为3D场景生成自然语言描述，构建用于场景级知识蒸馏的3D-文本提示。
• 利用实例分割模型（如Grounding DINO和SAM）从基础模型输出中生成精确的物体级掩码，实现物体级知识蒸馏。
• 设计一种由基础模型语义掩码引导的新颖掩码与补丁丢弃策略，引导掩码自编码器聚焦于前景物体，减少背景干扰。
• 通过自监督方式，将基础模型的特征、语义掩码和字幕信息蒸馏到3D变换器主干网络中，实现多模态知识蒸馏。
• 将场景级与物体级蒸馏整合到统一的3D预训练流程中，提升特征质量与下游任务性能。
• 将该框架应用于标准与最先进3D检测网络（如CAGroup3D），验证其可迁移性与性能增益。

实验结果

研究问题

• RQ1 基础模型能否被有效利用，以生成高质量的3D-文本对齐与3D-2D对齐，用于自监督3D场景表征学习？
• RQ2 与随机掩码相比，基础模型引导的掩码策略在3D掩码自编码器中如何提升前景表征学习效果？
• RQ3 从基础模型中进行场景级与物体级知识蒸馏，能在多大程度上提升3D目标检测与语义分割性能？
• RQ4 在3D自监督学习中，集成多个基础模型（如CLIP、SAM、BLIP）与单独使用单一模型相比，效果如何？
• RQ5 所提出的框架能否在不修改架构的前提下，有效适配现有最先进3D检测架构？

主要发现

• 与基线模型Point-MAE相比，Bridge3D在ScanNetV2数据集上实现了6.3%的mAP绝对提升，达到65.3%的AP@25和44.2%的AP@50。
• 在S3DIS数据集上，Bridge3D将mIoU提升至70.2%，mAcc提升至76.1%，优于先前的自监督方法与Point-MAE基线。
• 消融实验证实，三种模态——特征、语义掩码与字幕——均对性能有显著贡献，三者组合达到最佳效果。
• 基础模型生成的掩码优于传统方法（如MaskCLIP + 超像素），在物体级蒸馏中展现出更高的精度与语义丰富度。
• 当应用于SOTA方法CAGroup3D时，Bridge3D预训练将ScanNet上AP@25从75.1%提升至76.3%，SUN RGB-D上从66.8%提升至68.7%，证实其泛化能力与可迁移性。
• 该方法对模态变化表现出强鲁棒性，即使在部分模态被移除时仍保持高性能，表明其设计具备鲁棒性与灵活性。