[论文解读] Joint Visual Grounding with Language Scene Graphs

Daqing Liu, Hanwang Zhang+3 more|arXiv (Cornell University)|Jun 9, 2019

Multimodal Machine Learning Applications参考文献 54被引用 7

一句话总结

本文提出了一种名为联合视觉定位语言场景图（JVGN）的新框架，通过利用语言场景图和基于信念传播的因子图边际化，实现对指代对象及其上下文对象的联合定位。该方法在多个基准测试中实现了最先进性能，同时通过联合建模对象、属性和关系，实现了可解释的、组合式的推理。

ABSTRACT

Visual grounding is a task to ground referring expressions in images, e.g., localize "the white truck in front of the yellow one". To resolve this task fundamentally, the model should first find out the contextual objects (e.g., the "yellow" truck) and then exploit them to disambiguate the referent from other similar objects by using the attributes and relationships (e.g., "white", "yellow", "in front of"). However, due to the lack of annotations on contextual objects and their relationships, existing methods degenerate the above joint grounding process into a holistic association between the expression and regions, thus suffering from unsatisfactory performance and limited interpretability. In this paper, we alleviate the missing-annotation problem and enable the joint reasoning by leveraging the language scene graph which covers both labeled referent and unlabeled contexts (other objects, attributes, and relationships). Specifically, the language scene graph is a graphical representation where the nodes are objects with attributes and the edges are relationships. We construct a factor graph based on it and then perform marginalization over the graph, such that we can ground both referent and contexts on corresponding image regions to achieve the joint visual grounding (JVG). Experimental results demonstrate that the proposed approach is effective and interpretable, e.g., on three benchmarks, it outperforms the state-of-the-art methods while offers a complete grounding of all the objects mentioned in the referring expression.

研究动机与目标

• 解决现有视觉定位方法将定位视为句子与图像区域之间整体关联的局限性，忽略了上下文对象和关系。
• 通过利用结构化的语言组合，实现对指代表达中所有提及对象（包括指代对象和上下文实体）的联合推理。
• 通过基于语言场景图构建的因子图对未标注上下文对象进行边际化，克服上下文对象标注缺失的挑战。
• 通过在图形结构中显式建模对象属性和关系，提升模型的可解释性和泛化能力。
• 在标准基准测试中实现最先进性能，同时完整定位表达中的所有实体。

提出的方法

• 使用现成的解析器从指代表达中构建语言场景图，其中节点表示带属性的对象，边表示关系。
• 基于语言场景图构建因子图，将图像区域作为节点的潜在标签，并使用条件随机场（CRF）建模视觉-语言关联。
• 通过学习的视觉-语言嵌入和特征拼接定义一元和二元势函数，得分通过多层感知机计算。
• 在因子图上应用和积信念传播，计算所有节点的边际概率，实现在指代对象和上下文对象之间的联合推理。
• 使用KL散度损失与真实标签对指代节点进行训练，梯度通过链式法则反向传播至整个图。
• 采用消息传递对未标注的上下文节点进行边际化，使模型能够在无需完整标注的情况下联合推理指代对象和上下文对象。

实验结果

研究问题

• RQ1 当仅标注指代对象时，能否通过利用结构化的语言组合有效实现联合视觉定位？
• RQ2 基于语言场景图的图模型在视觉定位中如何提升可解释性和性能？
• RQ3 对未标注的上下文节点进行边际化在多大程度上提升了定位准确率和推理保真度？
• RQ4 具有视觉-语言势函数的因子图能否实现在指代表达中多个实体之间的联合推理？
• RQ5 与整体定位模型相比，所提出方法在未见表达上的泛化能力是否更优？

主要发现

• 所提出的JVGN模型在三个主要基准测试（RefCOCO、RefCOCO+ 和 RefCOCOg）上实现了最先进性能，优于现有方法。
• 在RefCOCOg测试集上，JVGN实现了72.47%的top-1准确率和63.68%的top-5准确率，超过先前方法如DGA和VC。
• 该模型完整定位了指代表达中提及的所有实体，包括指代对象和上下文对象，增强了可解释性。
• 定性结果表明，信念传播有效优化了初始一元势函数，使场景图中所有节点的定位更加准确且一致。
• 失败案例表明，该模型在处理模糊或罕见的属性与关系时表现不佳，提示在罕见实体识别方面仍有改进空间。
• 消融实验确认，边际化和消息传递对联合推理至关重要，移除它们会显著降低性能。