[论文解读] ConceptFusion: Open-set Multimodal 3D Mapping

Krishna Murthy Jatavallabhula, Alihusein Kuwajerwala+15 more|arXiv (Cornell University)|Feb 14, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

ConceptFusion 提出了一种新颖的开放集、多模态 3D 地图构建框架，通过标准 SLAM 和多视角融合，将基础模型（CLIP、AudioCLIP）的像素对齐特征融合到 3D 地图中，实现无需微调的零样本、多模态查询（文本、图像、音频、点击），在长尾概念上的 3D IoU 超过监督方法 40% 以上，展示了开放词汇 3D 场景理解的最先进性能。

ABSTRACT

Building 3D maps of the environment is central to robot navigation, planning, and interaction with objects in a scene. Most existing approaches that integrate semantic concepts with 3D maps largely remain confined to the closed-set setting: they can only reason about a finite set of concepts, pre-defined at training time. Further, these maps can only be queried using class labels, or in recent work, using text prompts. We address both these issues with ConceptFusion, a scene representation that is (1) fundamentally open-set, enabling reasoning beyond a closed set of concepts and (ii) inherently multimodal, enabling a diverse range of possible queries to the 3D map, from language, to images, to audio, to 3D geometry, all working in concert. ConceptFusion leverages the open-set capabilities of today's foundation models pre-trained on internet-scale data to reason about concepts across modalities such as natural language, images, and audio. We demonstrate that pixel-aligned open-set features can be fused into 3D maps via traditional SLAM and multi-view fusion approaches. This enables effective zero-shot spatial reasoning, not needing any additional training or finetuning, and retains long-tailed concepts better than supervised approaches, outperforming them by more than 40% margin on 3D IoU. We extensively evaluate ConceptFusion on a number of real-world datasets, simulated home environments, a real-world tabletop manipulation task, and an autonomous driving platform. We showcase new avenues for blending foundation models with 3D open-set multimodal mapping. For more information, visit our project page https://concept-fusion.github.io or watch our 5-minute explainer video https://www.youtube.com/watch?v=rkXgws8fiDs

研究动机与目标

• 为了实现支持超越固定封闭语义概念集的推理的 3D 地图，解决传统封闭集语义地图的局限性。
• 为了支持使用自然语言、图像、音频和 3D 几何等多种输入对 3D 地图进行多模态查询，实现灵活的人机交互。
• 为了将原本为全局图像嵌入设计的基础模型的像素对齐特征（无需微调或额外训练）融合到 3D 地图中。
• 为了在真实世界和模拟的机器人任务（包括操作、导航和自动驾驶）中评估系统性能，涵盖开放集和多模态条件。
• 为了引入 UnCoCo 数据集，这是一个新的 RGB-D 基准数据集，包含 78 种常见物体和 50 万个以上的多模态查询，用于开放集 3D 地图评估。

提出的方法

• 首先通过实例分割生成与类别无关的物体掩码，然后从裁剪的图像块中计算局部区域特征，提取基础模型的像素对齐特征。
• 每个区域的局部特征向量使用视觉编码器（如 CLIP）计算，同时提取全局图像特征以提供上下文信息。
• 使用标准表面融合技术将局部和全局特征融合到 3D 地图中，将基础模型特征视为额外的模态通道。
• 生成的 3D 地图可通过嵌入空间中的向量相似性实现零样本查询，支持跨模态检索而无需模型微调。
• 空间推理查询（如“苹果在桌子上吗？”）通过大型语言模型（text-davinci-003）解析为函数签名，该模型基于一组基本的 3D 空间比较器进行条件设定。
• 系统利用现有的 SLAM 流水线进行 3D 重建，并在表面融合过程中将基础模型特征作为额外的语义通道集成。

Figure 2 : ConceptFusion constructs pixel-aligned features $\textbf{f}^{\hskip 0.63004ptP}$ by: processing input images to generate generic (class-agnostic) object masks (regions) $r_{i}$ , computing a bounding box for each region and extracting a local feature vector $\textbf{f}^{\hskip 0.63004ptL}

实验结果

研究问题

• RQ1 基础模型特征能否有效适应，生成适合 3D 地图的像素对齐局部表示，尽管其原本设计用于全局图像嵌入？
• RQ2 此类像素对齐特征能否在无需任何微调或重训练的情况下，实现对 3D 地图的零样本、多模态查询（文本、图像、音频、点击）？
• RQ3 与监督或微调方法相比，基础模型在开放集 3D 地图中的性能如何，特别是在长尾概念上？
• RQ4 该系统在真实世界机器人任务（如桌面操作和自动驾驶）中，在开放集和多模态条件下的泛化能力如何？
• RQ5 将大型语言模型用于将自然语言空间查询解析为可执行空间推理函数的有效性如何？

主要发现

• ConceptFusion 在长尾概念上的 3D IoU 超过监督基线方法 40% 以上，证明其在开放集设置下具有更优的泛化能力。
• 系统实现了无需额外训练或微调的零样本多模态查询，支持文本、图像、音频和 3D 几何输入。
• 基础模型生成的像素对齐特征在捕捉 3D 地图中稀有和多样化概念方面，显著优于微调或监督方法。
• 基于 LLM 的查询解析器正确解析了全部 100 个测试查询，准确地将自然语言空间问题映射为可执行的 3D 空间比较函数。
• 在真实世界数据集（ScanNet、Replica、AI2-THOR）和模拟环境中的评估结果表明，系统在多样化场景和物体类别中均表现出鲁棒性和泛化能力。
• UnCoCo 数据集包含 78 种家用物体和 50 万个以上的多模态查询，可为开放集 3D 地图系统提供全面的基准测试支持。

Figure 3 : For each image, the global ( $\textbf{f}^{\hskip 0.63004ptG}$ ) and local ( $\textbf{f}^{\hskip 0.63004ptL}$ ) features are fused to obtain our pixel-aligned features ( $\textbf{f}^{\hskip 0.63004ptP}$ ). Top-Left: We first compute cosine similarities between each local feature ( $\textbf