[论文解读] Learning Cross-modal Context Graph for Visual Grounding

Yongfei Liu, Bo Wan+2 more|arXiv (Cornell University)|Nov 20, 2019

Multimodal Machine Learning Applications参考文献 35被引用 8

一句话总结

本文提出一种语言引导的跨模态图网络，通过模块化图神经网络建模短语与视觉对象之间的全局上下文和关系，实现全局一致的视觉定位。通过构建语言场景图与视觉场景图，并利用消息传递进行上下文感知表征学习，该方法在 Flickr30K Entities 基准测试中达到 76.19% 的最先进性能。

ABSTRACT

Visual grounding is a ubiquitous building block in many vision-language tasks and yet remains challenging due to large variations in visual and linguistic features of grounding entities, strong context effect and the resulting semantic ambiguities. Prior works typically focus on learning representations of individual phrases with limited context information. To address their limitations, this paper proposes a language-guided graph representation to capture the global context of grounding entities and their relations, and develop a cross-modal graph matching strategy for the multiple-phrase visual grounding task. In particular, we introduce a modular graph neural network to compute context-aware representations of phrases and object proposals respectively via message propagation, followed by a graph-based matching module to generate globally consistent localization of grounding phrases. We train the entire graph neural network jointly in a two-stage strategy and evaluate it on the Flickr30K Entities benchmark. Extensive experiments show that our method outperforms the prior state of the arts by a sizable margin, evidencing the efficacy of our grounding framework. Code is available at "https://github.com/youngfly11/LCMCG-PyTorch".

研究动机与目标

• 解决由于视觉和语言特征变化导致的复杂场景中高语义模糊性带来的视觉定位挑战。
• 克服先前方法将短语独立处理、忽略长距离依赖关系和全局上下文的局限性。
• 通过建模语言描述中的短语关系与对应视觉对象关系，提升定位准确率。
• 开发一种联合端到端可训练框架，优化跨模态的上下文感知表征与全局匹配。
• 通过语言上下文引导实现选择性、高质量的物体提议生成，以减少误报并提高匹配效率。

提出的方法

• 从文本描述中构建语言场景图，其中节点表示名词短语，边编码它们之间的语义关系。
• 使用短语图网络（PGN）通过消息传递在语言场景图上传播上下文感知表征。
• 利用短语图引导视觉物体提议选择，构建节点为相关物体提议、边反映语言关系的视觉场景图。
• 应用视觉物体图网络（VOGN）通过在视觉场景图上传播消息计算上下文感知视觉表征。
• 实现图相似性网络，通过比较语言图与视觉图的节点特征和边关系完成全局匹配。
• 采用两阶段训练策略：首先预训练 PGN 和物体特征，然后联合微调整个网络以实现最优跨模态对齐。

实验结果

研究问题

• RQ1 通过图结构建模语言描述中的长距离依赖关系，能否提升视觉定位性能？
• RQ2 将由语言关系引导的视觉物体关系纳入模型，对定位准确率和鲁棒性有何影响？
• RQ3 全局图匹配在降低模糊性方面，相较于局部逐短语匹配，优势有多大？
• RQ4 在上下文感知框架中，物体提议数量（K）的最优值是多少，以在准确率与计算成本之间取得平衡？
• RQ5 在短语图与视觉图中，关系特征对实现高性能有多关键？

主要发现

• 所提方法在 Flickr30K Entities 验证集上达到 76.19% 的新最先进准确率，显著优于先前方法。
• 短语图网络（PGN）通过捕捉短语间的长距离语义依赖，将定位准确率从基线的 73.46% 提升至 74.40%。
• 由 PGN 引导的提议剪枝可减少模糊候选，提升准确率 1.1%，证明了语言引导提议选择的价值。
• 视觉物体图网络（VOGN）通过利用邻近物体的上下文特征，增强了物体表征学习，使准确率提升至 75.85%。
• 通过全局图匹配实现结构化预测，进一步将准确率提升至 76.19%，证实了联合优化优于局部匹配的效益。
• 消融实验表明，若在 PGN 和 VOGN 中均移除关系特征，性能下降 0.41%，凸显了关系建模的重要性。