[论文解读] Learning Point-Language Hierarchical Alignment for 3D Visual Grounding

Jiaming Chen, Weixin Luo+4 more|arXiv (Cornell University)|Oct 22, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种用于3D视觉定位的分层对齐模型（HAM），通过一种新颖的上下文调制点-语言对齐（PLACM）机制，实现基于多粒度点抽象的词级与句子级语言嵌入与视觉表征的分层对齐。HAM在两个公开数据集上显著优于先前方法，取得了最先进性能，并在ECCV 2022 ScanRefer挑战赛中夺冠，展现了动态、上下文感知的视觉-语言表征学习能力。

ABSTRACT

This paper presents a novel hierarchical alignment model (HAM) that learns multi-granularity visual and linguistic representations in an end-to-end manner. We extract key points and proposal points to model 3D contexts and instances, and propose point-language alignment with context modulation (PLACM) mechanism, which learns to gradually align word-level and sentence-level linguistic embeddings with visual representations, while the modulation with the visual context captures latent informative relationships. To further capture both global and local relationships, we propose a spatially multi-granular modeling scheme that applies PLACM to both global and local fields. Experimental results demonstrate the superiority of HAM, with visualized results showing that it can dynamically model fine-grained visual and linguistic representations. HAM outperforms existing methods by a significant margin and achieves state-of-the-art performance on two publicly available datasets, and won the championship in ECCV 2022 ScanRefer challenge. Code is available at~\url{https://github.com/PPjmchen/HAM}.

研究动机与目标

• 为解决3D视觉定位中粗粒度注意力机制的局限性，该局限性阻碍了对复杂语言和空间关系的理解。
• 通过多粒度表征学习，提升对3D点云中复杂空间关系和长而复杂的语言查询的建模能力。
• 通过整合上下文调制与空间多粒度建模，增强视觉-语言对齐，实现全局与局部场景理解。
• 系统性地将提示工程策略融入3D视觉定位，以提升训练效率与模型鲁棒性。
• 开发一个端到端框架，动态学习具有判别性的视觉与语言表征，实现精确的目标定位。

提出的方法

• 该方法使用可学习的点抽象将原始点云下采样为关键点与提议点，实现对3D上下文与实例的多粒度建模。
• 提出点-语言对齐与上下文调制（PLACM）机制，通过将提议点作为查询，在语言嵌入（词级与句子级）与视觉表征之间应用分层交叉注意力。
• PLACM通过将关键点特征与语言嵌入融合，实现视觉上下文调制，以捕捉潜在的空间与语义关系。
• 空间多粒度建模（SMGM）方案通过空间分区与关键点区域分组，将PLACM应用于全局与局部空间场。
• 框架集成了三种提示工程策略——重述输入查询—以多样化训练数据并提升泛化能力与效率。
• 模型通过交叉注意力机制进行端到端训练，注意力权重的可视化结果表明其具备动态、上下文感知的表征学习能力。

实验结果

研究问题

• RQ1 语言与点云表征之间的分层、多粒度对齐是否能提升3D视觉定位性能？
• RQ2 视觉-语言注意力中的上下文调制在多大程度上增强了模型捕捉复杂空间关系的能力？
• RQ3 空间多粒度建模在多大程度上改善了对全局与局部场景上下文的建模？
• RQ4 系统性提示工程是否能提升3D视觉定位模型的鲁棒性与效率？
• RQ5 所提出的HAM框架是否在3D视觉定位基准数据集上实现了最先进性能？

主要发现

• HAM在两个公开的3D视觉定位基准上取得了最先进性能，显著优于现有方法。
• 该模型在ECCV 2022 ScanRefer挑战赛中获得第一名，表明其在验证集与测试集上均具备卓越的泛化能力与鲁棒性。
• 消融实验确认，PLACM机制与SMGM方案均为性能提升所必需，各组件均对定位准确率的提升有显著贡献。
• 可视化结果表明，HAM根据语言调制动态分配注意力权重至提议点，相关区域获得更高权重，并实现具有判别性的表征学习。
• 提示工程策略的整合提升了训练效率与模型泛化能力，各数据集上均表现出一致的性能增益。
• 该模型能有效定位复杂场景中具有复杂语言与空间关系的目标，例如‘在水槽上方’或‘在其右侧，把手里有条毛巾’。