[论文解读] Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud

Mingtao Feng, Zhen Li+7 more|arXiv (Cornell University)|Mar 30, 2021

Multimodal Machine Learning Applications被引用 9

一句话总结

本文提出一种基于自由形式描述的3D视觉图网络，通过建模复杂的语言结构和3D场景关系，提升了点云中3D物体定位的性能。该方法引入了上下文感知的短语表征语言场景图，构建了多层级3D提议关系图以优化视觉特征，并设计了描述引导的3D视觉图以编码全局上下文，最终在ScanRefer和Nr3D基准上达到最先进性能。

ABSTRACT

3D object grounding aims to locate the most relevant target object in a raw point cloud scene based on a free-form language description. Understanding complex and diverse descriptions, and lifting them directly to a point cloud is a new and challenging topic due to the irregular and sparse nature of point clouds. There are three main challenges in 3D object grounding: to find the main focus in the complex and diverse description; to understand the point cloud scene; and to locate the target object. In this paper, we address all three challenges. Firstly, we propose a language scene graph module to capture the rich structure and long-distance phrase correlations. Secondly, we introduce a multi-level 3D proposal relation graph module to extract the object-object and object-scene co-occurrence relationships, and strengthen the visual features of the initial proposals. Lastly, we develop a description guided 3D visual graph module to encode global contexts of phrases and proposals by a nodes matching strategy. Extensive experiments on challenging benchmark datasets (ScanRefer and Nr3D) show that our algorithm outperforms existing state-of-the-art. Our code is available at https://github.com/PNXD/FFL-3DOG.

研究动机与目标

• 为解决使用复杂、自由形式的自然语言描述在3D点云中定位物体的挑战。
• 建模多样、多句描述中的长距离依赖关系和结构化关系。
• 通过利用物体-物体和物体-场景共现关系，提升粗粒度3D物体提议的视觉特征表征。
• 通过图学习引导，提升语言短语与3D视觉提议之间的跨模态对齐。
• 在具有复杂空间和语义关系的杂乱3D场景中，实现更准确、更鲁棒的物体定位。

提出的方法

• 通过将自由形式描述解析为名词短语、代词和关系短语，构建语言场景图，并利用消息传递机制学习上下文感知的短语表征。
• 基于物体-物体和物体-场景共现关系，构建多层级3D提议关系图，以优化来自VoteNet的初始视觉特征。
• 在优化后的提议上构建描述引导的3D视觉图，其中节点代表与名词短语匹配的提议实例，边编码提议之间的相互关系。
• 通过匹配策略将3D视觉图中的节点与语言场景图中的节点进行匹配，匹配得分融合后生成最终的定位预测。
• 在语言图和视觉图中均使用消息传递机制，实现节点间上下文信息的传播，增强表征学习能力。
• 模型采用端到端训练，结合交叉注意力机制对齐语言与视觉特征，以IoU为基础的定位准确率为优化目标。

实验结果

研究问题

• RQ1 如何有效建模包含多个从句和空间关系的复杂、长篇自然语言描述，以实现3D物体定位？
• RQ2 3D场景中物体-物体和物体-场景共现关系在多大程度上能提升初始3D物体提议的质量？
• RQ3 基于图的方法，若同时建模语言和视觉结构，是否能优于语言与视觉嵌入的整体融合方法？
• RQ4 在模糊或杂乱的3D场景中，语言引导的提议剪枝与优化如何影响模型性能？
• RQ5 上下文感知的结构化表征在提升ScanRefer和Nr3D等挑战性基准上的定位准确率方面，其贡献如何？

主要发现

• 在ScanRefer基准上，该方法在IoU阈值为0.5时，准确率比基线高出7.5%，展现出显著的性能提升。
• 在Nr3D数据集上，该方法准确率比ReferIt3D高出6.1%，比InstanceRefer高出2.9%，表明其在复杂场景中具有强大的泛化能力。
• 在包含多个物体类别的场景中，该方法在IoU为0.5时准确率提升了2.8%，凸显其在处理复杂空间关系方面的有效性。
• 在'Unique'类场景中，准确率提升约1.5%；在'Multiple'类场景中，准确率提升约2.8%，表明其对模糊和拥挤场景的处理能力更优。
• 定性结果表明，该模型能正确定位涉及空间关系和多重引用的复杂描述中的物体，而基线方法在模糊情况下失效。
• 可视化结果证实，语言场景图能准确匹配相关3D提议，且3D视觉图能有效基于语言上下文剪枝和优化冗余提议。