[论文解读] 3D-SPS: Single-Stage 3D Visual Grounding via Referred Point Progressive Selection

Junyu Luo, Jiahui Fu+6 more|arXiv (Cornell University)|Apr 13, 2022

Multimodal Machine Learning Applications参考文献 46被引用 5

一句话总结

3D-SPS 提出了一种单阶段 3D 视觉定位方法，通过逐步选择语言引导的关键点，直接在 3D 点云中定位被指代的对象。通过结合描述感知关键点采样（DKS）与目标导向渐进式挖掘（TPM），该方法在 ScanRefer 和 Nr3D/Sr3D 上实现了最先进性能，通过端到端、渐进式优化相关点，超越了先前的两阶段方法。

ABSTRACT

3D visual grounding aims to locate the referred target object in 3D point cloud scenes according to a free-form language description. Previous methods mostly follow a two-stage paradigm, i.e., language-irrelevant detection and cross-modal matching, which is limited by the isolated architecture. In such a paradigm, the detector needs to sample keypoints from raw point clouds due to the inherent properties of 3D point clouds (irregular and large-scale), to generate the corresponding object proposal for each keypoint. However, sparse proposals may leave out the target in detection, while dense proposals may confuse the matching model. Moreover, the language-irrelevant detection stage can only sample a small proportion of keypoints on the target, deteriorating the target prediction. In this paper, we propose a 3D Single-Stage Referred Point Progressive Selection (3D-SPS) method, which progressively selects keypoints with the guidance of language and directly locates the target. Specifically, we propose a Description-aware Keypoint Sampling (DKS) module to coarsely focus on the points of language-relevant objects, which are significant clues for grounding. Besides, we devise a Target-oriented Progressive Mining (TPM) module to finely concentrate on the points of the target, which is enabled by progressive intra-modal relation modeling and inter-modal target mining. 3D-SPS bridges the gap between detection and matching in the 3D visual grounding task, localizing the target at a single stage. Experiments demonstrate that 3D-SPS achieves state-of-the-art performance on both ScanRefer and Nr3D/Sr3D datasets.

研究动机与目标

• 为克服两阶段 3D 视觉定位流程的局限性，该流程将检测与匹配分离，导致提案稀疏或密集的问题。
• 解决 3D 检测器中与语言无关的关键点采样问题，该问题在提案中对目标对象表征不足。
• 通过基于语言描述和模态间注意力的渐进式优化关键点选择，提升定位精度。
• 将检测与匹配统一为单一、连贯的阶段，模拟人类从粗到细的推理方式。

提出的方法

• 提出描述感知关键点采样（DKS），利用物体置信度和描述相关性得分，粗略聚焦于与语言相关的物体点。
• 采用目标导向渐进式挖掘（TPM），通过自注意力与交叉注意力建模模态内与模态间关系，迭代优化关键点选择。
• 利用语言-点交叉注意力图，动态选择语言描述所关注的关键点，逐步集中于目标对象。
• 将关键点特征与全局点特征融合，以保持场景级上下文信息，提升定位感知能力。
• 采用多层渐进式优化，每层丢弃无关关键点并增强与目标相关的特征。
• 直接从精炼后的、聚焦目标的关键点集合端到端回归边界框，无需单独的匹配阶段。

实验结果

研究问题

• RQ1 单阶段 3D 视觉定位框架能否通过消除检测与匹配之间的隔离，超越现有两阶段方法？
• RQ2 如何使关键点采样具备语言感知能力，以改善稀疏 3D 点云中目标的表征？
• RQ3 与静态关键点选择相比，渐进式关键点优化在多大程度上提升了定位精度？
• RQ4 基于交叉注意力的渐进式挖掘是否能提升模型从相似物体中准确区分正确目标的能力？
• RQ5 将全局点特征与优化后关键点融合，对定位性能有何影响？

主要发现

• 3D-SPS 在 ScanRefer 数据集上实现了最先进性能，显著优于先前的两阶段方法。
• 在 Nr3D/Sr3D 基准上，3D-SPS 达成新的最先进结果，展现出在多样化 3D 定位场景下的强大泛化能力。
• 消融实验表明 DKS 与 TPM 均不可或缺，联合使用物体置信度与描述相关性得分可实现最佳关键点选择。
• TPM 中的渐进式关键点选择带来持续的性能提升，4 层结构在精度与鲁棒性之间达到最佳平衡。
• 无选择消融实验表明，随着关键点数量增加，性能先上升后下降，证明渐进式过滤的必要性。
• 定性结果表明，3D-SPS 能够根据不同的描述（如 '在桌子上面' 或 '在床下面'）动态调整关键点选择，展现出语言自适应推理能力。