[论文解读] CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory

Nur Muhammad Mahi Shafiullah, Chris Paxton+3 more|arXiv (Cornell University)|Oct 11, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

CLIP-Fields 引入了一种弱监督的隐式3D场景表征方法，通过仅使用Web预训练的视觉-语言模型（如CLIP和Detic）从空间位置学习语义嵌入，实现了零样本语义分割、实例识别和真实环境中的语义导航，且人类标注需求极少。该方法在HM3D数据集上实现了强大的少样本性能，并支持通过自然语言查询实现真实机器人导航。

ABSTRACT

We propose CLIP-Fields, an implicit scene model that can be used for a variety of tasks, such as segmentation, instance identification, semantic search over space, and view localization. CLIP-Fields learns a mapping from spatial locations to semantic embedding vectors. Importantly, we show that this mapping can be trained with supervision coming only from web-image and web-text trained models such as CLIP, Detic, and Sentence-BERT; and thus uses no direct human supervision. When compared to baselines like Mask-RCNN, our method outperforms on few-shot instance identification or semantic segmentation on the HM3D dataset with only a fraction of the examples. Finally, we show that using CLIP-Fields as a scene memory, robots can perform semantic navigation in real-world environments. Our code and demonstration videos are available here: https://mahis.life/clip-fields

研究动机与目标

• 开发一种可扩展的开放词汇3D空间-语义记忆，避免依赖人工标注数据集。
• 仅使用大规模网络预训练的视觉-语言模型作为监督信号，实现3D环境中语义理解与导航。
• 证明隐式神经场可使用CLIP和Detic的特征，通过对比损失进行训练，实现零样本或少样本场景理解。
• 通过查询学习到的3D语义嵌入场，实现真实世界机器人导航，仅依赖自然语言查询。
• 表明性能与预训练阶段所用基础视觉-语言模型的质量密切相关。

提出的方法

• CLIP-Fields 定义了一个神经隐式函数 $ g: \mathbb{R}^3 \to \mathbb{R}^d $，将3D空间坐标映射为语义嵌入向量。
• 模型使用对比损失进行训练，以鼓励在多个RGB-D视角下对应同一物体或场景区域的空间位置生成相似的特征。
• 特征从预训练模型中提取：CLIP用于视觉-语言对齐，Detic用于目标检测，Sentence-BERT用于文本查询编码。
• 该方法利用多视角RGB-D数据和估计的相机位姿，对3D嵌入场进行监督，无需显式人工标注。
• 推理阶段，查询被编码为嵌入向量，并通过余弦相似度与CLIP-Fields表征中最近的点进行匹配。
• 机器人导航至查询嵌入与场中存储特征对齐度最高的空间位置。

实验结果

研究问题

• RQ1 能否通过利用预训练的视觉-语言模型，在极少人工监督下学习3D场景表征？
• RQ2 CLIP-Fields 是否能在不微调标注数据的情况下，实现少样本实例识别与语义分割？
• RQ3 机器人能否仅通过自然语言查询和弱监督的3D嵌入场实现语义导航？
• RQ4 CLIP-Fields 的性能在多大程度上依赖于用于监督的基础视觉-语言模型的质量？
• RQ5 CLIP-Fields 是否能在真实环境中支持开放词汇查询，包括视觉和语义描述？

主要发现

• 在HM3D基准测试中，CLIP-Fields 在仅使用极小部分训练数据的情况下，优于Mask-RCNN在少样本实例识别与语义分割任务上的表现。
• 该方法实现了真实世界机器人导航，能够根据自然语言查询定位物体，在厨房和图书馆环境中均取得成功。
• 性能与训练阶段所用基础视觉模型的准确性密切相关；训练中分类错误的物体会导致导航失败。
• 即使存在轻微拼写差异，系统仍能成功检索物体，表明对词汇噪声具有鲁棒性。
• 语义查询有时会混淆语义相近的概念（例如，将“wash my hand”误认为“dishwasher”），表明在消歧方面存在局限。
• 视觉查询可能受语义相似性误导（例如，为“red fruit bowl”检索一个白色碗），但更具体的描述（如“red plastic bowl”）可显著提升精度。