[论文解读] 3D Concept Grounding on Neural Fields

Yining Hong, Yilun Du+3 more|arXiv (Cornell University)|Jul 13, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出3D-CG，一种新颖的框架，通过联合学习语义和实例分割，利用可微神经描述符场（NDFs）实现基于问题-回答监督的3D概念定位。通过计算3D坐标描述符与语言概念嵌入之间的向量相似度，该方法实现了端到端、可微的分割与推理，在分割和视觉推理任务上均优于现有无监督及语言引导模型，且在未见形状和真实扫描数据上展现出良好的泛化能力。

ABSTRACT

In this paper, we address the challenging problem of 3D concept grounding (i.e. segmenting and learning visual concepts) by looking at RGBD images and reasoning about paired questions and answers. Existing visual reasoning approaches typically utilize supervised methods to extract 2D segmentation masks on which concepts are grounded. In contrast, humans are capable of grounding concepts on the underlying 3D representation of images. However, traditionally inferred 3D representations (e.g., point clouds, voxelgrids, and meshes) cannot capture continuous 3D features flexibly, thus making it challenging to ground concepts to 3D regions based on the language description of the object being referred to. To address both issues, we propose to leverage the continuous, differentiable nature of neural fields to segment and learn concepts. Specifically, each 3D coordinate in a scene is represented as a high-dimensional descriptor. Concept grounding can then be performed by computing the similarity between the descriptor vector of a 3D coordinate and the vector embedding of a language concept, which enables segmentations and concept learning to be jointly learned on neural fields in a differentiable fashion. As a result, both 3D semantic and instance segmentations can emerge directly from question answering supervision using a set of defined neural operators on top of neural fields (e.g., filtering and counting). Experimental results show that our proposed framework outperforms unsupervised/language-mediated segmentation models on semantic and instance segmentation tasks, as well as outperforms existing models on the challenging 3D aware visual reasoning tasks. Furthermore, our framework can generalize well to unseen shape categories and real scans.

研究动机与目标

• 解决基于2D分割的视觉推理方法在遮挡情况下常失效且难以泛化到未见概念的局限性。
• 通过在连续、可微的3D表示上定位概念，而非离散的3D结构（如点云或网格），实现更类人的3D视觉推理。
• 开发一种框架，使3D语义和实例分割能自然地从问题-回答监督中涌现，而无需预定义的分割掩码。
• 设计作用于神经场的神经算子——过滤、查询和计数——以支持鲁棒的视觉推理与概念定位。

提出的方法

• 该框架使用神经描述符场（NDFs）将场景中的每个3D坐标表示为高维连续描述符向量。
• 通过3D坐标描述符与语言概念嵌入向量之间的可微向量相似度实现概念定位。
• 在NDFs之上定义一组神经算子：过滤算子用于检测概念是否存在，查询算子用于属性推理，神经计数算子用于量化实例数量。
• 通过问答监督实现端到端可微训练，联合优化分割与推理。
• 该方法以自监督方式学习3D表示，避免依赖标注的2D掩码或预定义的概念类别。
• 通过利用神经场表示的连续性与可微性，该框架实现了对未见形状类别和真实扫描的零样本泛化。

实验结果

研究问题

• RQ1 是否可以通过支持分割与推理联合学习的可微连续3D表示实现3D概念定位？
• RQ2 基于神经场的框架在无需微调的情况下，对未见形状类别和真实扫描数据的泛化能力如何？
• RQ3 在无掩码显式监督的情况下，语义和实例级别的3D分割能否自然地从问题-回答监督中涌现？
• RQ4 与基于2D分割的方法相比，基于神经描述符场的定位在遮挡情况下的鲁棒性提升程度如何？
• RQ5 过滤、查询和计数等神经算子是否能有效定义并训练于神经场之上，以实现端到端的视觉推理？

主要发现

• 在基准测试中，3D-CG在语义分割上的平均IoU达到69.4，显著优于基线模型，如CVX（61.7）、CVX+L（65.2）、BAE（58.6）和BAE+L（61.3）。
• 在实例分割任务中，3D-CG的平均IoU达到56.9，超越所有基线模型，包括BAE+L（42.0）和CVX+L（38.9）。
• 该模型对未见类别具有有效泛化能力：当在货车上进行训练时，能正确识别并计数自行车上的车轮，并在提示时检测到床的所有腿。
• 在RedWood数据集的真实扫描中，3D-CG成功对部分、单视角扫描中的物体进行分割与推理，展现出对真实世界数据质量的鲁棒性。
• 该框架实现了对真实世界场景的零样本迁移，即使训练数据中未包含此类形状，也能准确检测到车轮、腿等部件。
• 仅通过问答监督即实现3D分割的涌现，表明该方法在无显式分割监督的情况下学习到了有意义且解耦的3D表示。