[论文解读] Graph-Structured Referring Expression Reasoning in The Wild

Sibei Yang, Guanbin Li+1 more|arXiv (Cornell University)|Apr 19, 2020

Multimodal Machine Learning Applications参考文献 28被引用 7

一句话总结

本论文提出了一种场景图引导的模块化网络（SGMN），通过引用表达式的句法结构引导神经模块，在视觉和语言图上执行结构化推理。该方法在基准数据集上取得了最先进性能，并引入了Ref-Reasoning，一个大规模真实世界数据集，其特点为语义丰富、平衡的表达式以及通过图注意力机制生成的可解释推理轨迹。

ABSTRACT

Grounding referring expressions aims to locate in an image an object referred to by a natural language expression. The linguistic structure of a referring expression provides a layout of reasoning over the visual contents, and it is often crucial to align and jointly understand the image and the referring expression. In this paper, we propose a scene graph guided modular network (SGMN), which performs reasoning over a semantic graph and a scene graph with neural modules under the guidance of the linguistic structure of the expression. In particular, we model the image as a structured semantic graph, and parse the expression into a language scene graph. The language scene graph not only decodes the linguistic structure of the expression, but also has a consistent representation with the image semantic graph. In addition to exploring structured solutions to grounding referring expressions, we also propose Ref-Reasoning, a large-scale real-world dataset for structured referring expression reasoning. We automatically generate referring expressions over the scene graphs of images using diverse expression templates and functional programs. This dataset is equipped with real-world visual contents as well as semantically rich expressions with different reasoning layouts. Experimental results show that our SGMN not only significantly outperforms existing state-of-the-art algorithms on the new Ref-Reasoning dataset, but also surpasses state-of-the-art structured methods on commonly used benchmark datasets. It can also provide interpretable visual evidences of reasoning. Data and code are available at https://github.com/sibeiyang/sgmn

研究动机与目标

• 为解决现有方法忽略语言结构或仅使用自注意力机制建模句法的局限性，通过显式利用引用表达式的句法布局实现结构化推理。
• 通过构建大规模真实世界数据集，包含平衡且语义丰富的表达式以及真实中间推理步骤标注，克服现有基准数据集的偏差。
• 通过在语言场景图的每一步生成对象上的注意力图，实现可解释的视觉推理，提供推理过程的可追溯证据。
• 通过基于语言结构引导的模块化神经网络建模关系与属性，提升在复杂、长形式引用表达上的性能。

提出的方法

• 将输入图像建模为语义图，其中节点表示对象，边表示关系，利用目标检测器和关系分类器实现。
• 使用外部解析器将引用表达式解析为语言场景图，节点代表名词短语，边代表介词/动词短语，确保与图像图的一致性。
• 采用模块化神经网络，通过AttendNode、AttendRelation、Transfer、Merge和Norm等操作，沿语言场景图逐步执行推理。
• 推理过程由图注意力机制引导，突出语言场景图每个节点相关的图像对象，实现可解释的中间预测。
• Ref-Reasoning数据集通过模板和功能程序从图像场景图自动生成多样化表达式构建，所有推理步骤均配有真实标注。
• 采用均匀采样与分布控制，平衡各推理步骤的表达难度，降低数据集偏差。

实验结果

研究问题

• RQ1 基于语言结构引导的模块化神经网络是否能在引用表达定位任务中超越整体匹配方法？
• RQ2 包含平衡、语义丰富的表达式及中间标注的大规模真实世界数据集是否能提升模型泛化能力并减少数据集偏差？
• RQ3 基于图结构的推理结合注意力图是否能提供引用表达定位中中间推理步骤的可解释视觉证据？
• RQ4 神经模块设计（如Transfer、Norm、Merge）如何影响复杂表达上的推理性能？

主要发现

• SGMN在RefCOCO上达到86.67%的平均准确率，在RefCOCO+上达到85.36%，在RefCOCOg上达到78.66%，分别优于现有结构化方法0.92%、2.54%和2.96%。
• 在包含更长、更复杂表达式（平均长度8.43）的RefCOCOg数据集上，SGMN性能与最佳整体方法相当，展现出强大的推理能力。
• 消融实验表明，移除Transfer模块会显著降低性能（验证集上仅为40.66%），证实其在节点间关系推理中的关键作用。
• 采用求和合并（sum-merge）的SGMN表现最佳（验证集51.04%），优于最大值合并（max-merge，44.50%）和最小值合并（min-merge，45.25%），表明sum-merge更擅长处理多关系信息。
• 定性结果表明，SGMN生成的注意力图具有可解释性，能沿语言场景图追踪推理步骤，例如识别正在遛狗的穿粉黑发的女性。
• 模型在真实世界场景中泛化良好，体现在其在大规模数据集Ref-Reasoning上表现强劲，该数据集包含多样化的真实世界视觉与语言内容。