[论文解读] From Two Graphs to N Questions: A VQA Dataset for Compositional Reasoning on Vision and Commonsense.

Difei Gao, Ruiping Wang+2 more|arXiv (Cornell University)|Aug 8, 2019

Multimodal Machine Learning Applications参考文献 42被引用 6

一句话总结

本文提出了CRIC，一个专为组合推理设计的视觉问答（VQA）数据集，通过整合视觉场景图与外部知识图谱，生成复杂且多跳的问题。该研究提出了一种新型模型，能够联合推理视觉与常识知识，在CRIC上实现了58.38%的准确率，较最先进方法高出6.12个百分点。

ABSTRACT

Visual Question Answering (VQA) is a challenging task for evaluating the ability of comprehensive understanding of the world. Existing benchmarks usually focus on the reasoning abilities either only on the vision or mainly on the knowledge with relatively simple abilities on vision. However, the ability of answering a question that requires alternatively inferring on the image content and the commonsense knowledge is crucial for an advanced VQA system. In this paper, we introduce a VQA dataset that provides more challenging and general questions about Compositional Reasoning on vIsion and Commonsense, which is named as CRIC. To create this dataset, we develop a powerful method to automatically generate compositional questions and rich annotations from both the scene graph of a given image and some external knowledge graph. Moreover, this paper presents a new compositional model that is capable of implementing various types of reasoning functions on the image content and the knowledge graph. Further, we analyze several baselines, state-of-the-art and our model on CRIC dataset. The experimental results show that the proposed task is challenging, where state-of-the-art obtains 52.26% accuracy and our model obtains 58.38%.

研究动机与目标

• 解决现有VQA基准中视觉内容与外部知识联合推理代表性不足的问题。
• 开发一个数据集，要求在图像内容与常识知识之间交替进行推理以完成复杂问题的问答。
• 提出一种统一模型，能够对视觉与知识表征执行多种推理功能。
• 通过新基准与基线比较，评估VQA中组合推理的难度。

提出的方法

• 开发一种方法，通过将图像派生的场景图与外部知识图谱结合，自动生成组合性问题。
• 利用视觉图与知识图谱之间的结构与语义对齐，生成需要多步推理的问题。
• 设计一种新型神经网络模型，联合编码视觉与知识表征，并通过注意力机制在两个图上执行推理。
• 通过动态路由注意力机制在图结构间切换，支持比较、推理与因果推理等多种推理功能。
• 训练采用端到端优化，基于图基生成管道产生的问题-答案对，使用交叉熵损失。
• 通过利用知识图与视觉图的组合结构，框架支持对未见问题类型的零样本泛化。

实验结果

研究问题

• RQ1 如何自动生成多样化、组合性的VQA问题，要求同时对视觉与常识知识进行推理？
• RQ2 在复杂VQA任务中，视觉与基于知识的推理各自贡献如何？
• RQ3 统一模型能否有效执行跨视觉与知识图谱的多种推理类型？
• RQ4 所提出的模型在强调组合推理的新基准上与最先进方法相比表现如何？
• RQ5 CRIC数据集在多大程度上揭示了当前VQA系统在组合推理方面的局限性？

主要发现

• 所提出的CRIC数据集通过要求在图像内容与常识知识之间交替推理，为VQA引入了新的复杂性层次。
• 最先进模型在CRIC上的准确率仅为52.26%，表明组合推理方面仍有巨大提升空间。
• 所提出的模型达到58.38%的准确率，表明在新基准上相较现有方法有显著性能提升。
• 该模型处理多种推理类型（如因果、比较与推断推理）的能力，展现了其泛化能力。
• 结果证实，当前VQA系统在跨越视觉与知识的多跳推理方面表现吃力，凸显了改进模型架构的必要性。
• 自动数据生成管道成功生成了高质量、多样化且带有丰富标注的问题，支持可扩展的基准测试。