[论文解读] Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning

Yang Li, Yan Xu+4 more|arXiv (Cornell University)|Apr 30, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

本文提出了一种基于Transformer的视觉定位框架，通过视觉-语言验证和迭代式跨模态推理提升定位精度。通过聚焦语言相关的视觉区域并聚合上下文特征，模型增强了目标的区分度，并采用多阶段解码器逐步优化定位结果，在五个基准数据集上实现了最先进性能，且参数量和计算开销几乎无增加。

ABSTRACT

Visual grounding is a task to locate the target indicated by a natural language expression. Existing methods extend the generic object detection framework to this problem. They base the visual grounding on the features from pre-generated proposals or anchors, and fuse these features with the text embeddings to locate the target mentioned by the text. However, modeling the visual features from these predefined locations may fail to fully exploit the visual context and attribute information in the text query, which limits their performance. In this paper, we propose a transformer-based framework for accurate visual grounding by establishing text-conditioned discriminative features and performing multi-stage cross-modal reasoning. Specifically, we develop a visual-linguistic verification module to focus the visual features on regions relevant to the textual descriptions while suppressing the unrelated areas. A language-guided feature encoder is also devised to aggregate the visual contexts of the target object to improve the object's distinctiveness. To retrieve the target from the encoded visual features, we further propose a multi-stage cross-modal decoder to iteratively speculate on the correlations between the image and text for accurate target localization. Extensive experiments on five widely used datasets validate the efficacy of our proposed components and demonstrate state-of-the-art performance. Our code is public at https://github.com/yangli18/VLTVG.

研究动机与目标

• 解决现有视觉定位方法依赖通用目标检测器和固定提议所导致的特征灵活性与上下文建模受限的问题。
• 通过语言引导的注意力机制与上下文聚合，建立更具区分性的视觉特征以提升视觉定位性能。
• 通过多阶段跨模态推理逐步优化图像与文本之间的相关性，实现精确的定位。
• 通过专用模块直接检索目标对象特征，降低对预生成提议的依赖。
• 在模型参数量和推理成本几乎不增加的前提下，实现最先进性能。

提出的方法

• 引入视觉-语言验证模块，将视觉特征与文本嵌入进行比较，以抑制无关图像区域并突出与语言查询对齐的区域。
• 采用语言引导的上下文编码器，聚合目标对象周围的邻近视觉特征，利用注意力机制增强其区分度。
• 设计多阶段跨模态解码器，通过迭代方式逐步优化视觉与语言特征之间的对齐，提升定位精度。
• 将验证模块生成的调制视觉特征作为解码器输入，实现对相关图像区域的聚焦推理。
• 在解码器中引入可学习查询机制，动态关注各阶段中的相关视觉与语言标记。
• 在统一的基于Transformer的框架中端到端集成所有组件，避免依赖目标提议生成。

实验结果

研究问题

• RQ1 视觉-语言验证能否提升视觉特征与语言查询的相关性？
• RQ2 语言引导的上下文聚合在复杂场景中如何增强目标对象的区分度？
• RQ3 多阶段迭代式跨模态推理是否优于单步推理？
• RQ4 所提出的框架是否在保持低计算与参数开销的前提下实现最先进性能？
• RQ5 该模型在训练分布之外的开放词汇或多样化语言表达上是否具备良好的泛化能力？

主要发现

• 所提方法在VG数据集上达到71.62%的准确率，较基线提升5.60个百分点，甚至超越更深的Transformer编码器堆叠结构。
• 视觉-语言验证模块成功聚焦于与语言查询相关的图像区域，注意力可视化与目标对象的验证分数均表明其有效性。
• 语言引导的上下文编码器通过关注语义相关的周边区域（如场景中女孩附近的马）提升了目标的区分度。
• 多阶段解码器通过逐步优化图像与文本之间的对齐关系提升准确率，第二阶段已显著优于单阶段基线模型。
• 与基线相比，模型参数量仅增加5.5%，计算成本仅增加0.71%，展现出极高的效率。
• 消融实验表明，验证模块与上下文编码器均不可或缺，二者结合可获得最佳性能。