[论文解读] VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering

Yanan Wang, Michihiro Yasunaga+3 more|arXiv (Cornell University)|May 23, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

VQA-GNN 提出了一种双向融合框架，通过一个超节点和一种新型多模态图神经网络，统一融合非结构化知识（例如，QA 上下文）与结构化知识（例如，场景图和概念图），实现视觉问答任务中的多模态知识联合推理。该方法在 VCR 和 GQA 上均达到最先进性能，分别在 VCR（Q-AR）上超越强基线模型 3.2%，在 GQA 上超越强基线模型 4.6%，得益于对异构知识模态的增强联合推理能力。

ABSTRACT

Visual question answering (VQA) requires systems to perform concept-level reasoning by unifying unstructured (e.g., the context in question and answer; "QA context") and structured (e.g., knowledge graph for the QA context and scene; "concept graph") multimodal knowledge. Existing works typically combine a scene graph and a concept graph of the scene by connecting corresponding visual nodes and concept nodes, then incorporate the QA context representation to perform question answering. However, these methods only perform a unidirectional fusion from unstructured knowledge to structured knowledge, limiting their potential to capture joint reasoning over the heterogeneous modalities of knowledge. To perform more expressive reasoning, we propose VQA-GNN, a new VQA model that performs bidirectional fusion between unstructured and structured multimodal knowledge to obtain unified knowledge representations. Specifically, we inter-connect the scene graph and the concept graph through a super node that represents the QA context, and introduce a new multimodal GNN technique to perform inter-modal message passing for reasoning that mitigates representational gaps between modalities. On two challenging VQA tasks (VCR and GQA), our method outperforms strong baseline VQA methods by 3.2% on VCR (Q-AR) and 4.6% on GQA, suggesting its strength in performing concept-level reasoning. Ablation studies further demonstrate the efficacy of the bidirectional fusion and multimodal GNN method in unifying unstructured and structured multimodal knowledge.

研究动机与目标

• 解决现有视觉问答模型中单向融合的局限性，这些模型无法对非结构化和结构化多模态知识进行联合推理。
• 将非结构化知识（例如，QA 上下文、视觉区域）与结构化知识（例如，场景图、概念图）统一为单一且富有表现力的表征，以提升推理能力。
• 通过引入具备模态间消息传递功能的多模态图神经网络，缓解不同模态之间的表征鸿沟。
• 证明双向融合与模态感知消息传递机制在复杂视觉问答基准上的显著性能提升。

提出的方法

• 通过连接来自 VisualGenome 的场景图与来自 ConceptNet 的概念图，构建一个包含表示问题与答案的 QA-上下文超节点的多模态语义图。
• 使用 RoBERTa 将 QA 上下文编码为稠密向量表示，该表示用作图中的 QA-上下文节点。
• 从 VisualGenome 中检索并嵌入相关的视觉区域，通过平均池化聚合形成连接至场景图的 QA-概念节点。
• 引入一种具备模态专用图神经网络模块的多模态图神经网络，实现在 QA-上下文节点与场景图及概念图中节点之间的模态间消息传递。
• 应用模态特定的消息传递机制（m1 用于视觉模态，m2 用于文本/概念模态），以减少表征鸿沟并实现双向信息流动。
• 在训练过程中微调基于 RoBERTa 的 QA-上下文节点权重，以实现跨模态的互信息聚合。

Figure 1 : Overview of VQA-GNN . Given an image and QA sentence, we obtain unstructured knowledge ( e.g . , QA-concept node p and QA-context node z) and structured knowledge ( e.g . , scene-graph and concept-graph), and then unify them to perform bidirectional fusion for visual question answering.

实验结果

研究问题

• RQ1 在视觉问答任务中，非结构化与结构化多模态知识之间的双向融合能否提升推理能力？
• RQ2 与单向融合相比，多模态图神经网络架构中的模态间消息传递如何影响视觉问答基准的性能表现？
• RQ3 在多模态图神经网络中，通过减少视觉与文本模态之间的表征鸿沟，能在多大程度上提升答案预测的准确性？
• RQ4 所提出的具备模态专用消息传递机制的多模态图神经网络是否在视觉问答任务中优于通用图神经网络？
• RQ5 基于超节点的图构建方法在统一异构知识源以实现联合推理方面有多高效？

主要发现

• 在 VCR 基准上，VQA-GNN 相较于强基线方法实现了 3.2% 的绝对性能提升（Q-AR 指标），证明其在概念级推理方面的有效性。
• 在 GQA 基准上，VQA-GNN 相较于强基线模型实现了 4.6% 的性能提升，凸显其在开放域问答任务中的优势。
• 在 GQA 数据集上，与单向融合变体相比，双向融合机制使性能提升 4%，证实其在联合推理中的显著优势。
• 多模态图神经网络技术有效缓解了模态间表征鸿沟，在 VCR 基准上相较通用图神经网络提升 4.5%，证明其在模态间消息传递中的有效性。
• 消融实验表明，节点表示的平均池化方法性能显著更差（准确率为 62.3%），而所提方法准确率达 90.3%，表明模型能有效捕捉关键结构关系。
• 该模型在 GQA 上实现了 90.3% 的验证准确率，且未使用标注的语义功能程序，证明其在真实场景下具备强大的泛化能力与鲁棒性。

Figure 2 : Reasoning procedure of VQA-GNN. We first build a multimodal semantic graph for each given image-QA pair to unify unstructured ( e.g . , “node p” and “node z”) and structured ( e.g . , “scene-graph” and “concept-graph”) multimodal knowledge (§ 4.1 ). Then we perform inter-modal message pas