[论文解读] Mucko: Multi-Layer Cross-Modal Knowledge Reasoning for Fact-based Visual Question Answering

Zihao Zhu, Jing Yu+4 more|arXiv (Cornell University)|Jun 16, 2020

Multimodal Machine Learning Applications参考文献 31被引用 20

一句话总结

Mucko 提出了一种用于基于事实的视觉问答（FVQA）的多层异构图网络，通过模态感知图卷积网络整合视觉、语义和事实模态。该方法通过注意力机制和迭代推理自适应选择跨模态的问题相关证据，在 Visual7W+KB 上实现 68.88% 的 top-1 准确率，在 OK-VQA 上实现 29.20% 的整体准确率，达到当前最先进性能。

ABSTRACT

Fact-based Visual Question Answering (FVQA) requires external knowledge beyond visible content to answer questions about an image, which is challenging but indispensable to achieve general VQA. One limitation of existing FVQA solutions is that they jointly embed all kinds of information without fine-grained selection, which introduces unexpected noises for reasoning the final answer. How to capture the question-oriented and information-complementary evidence remains a key challenge to solve the problem. In this paper, we depict an image by a multi-modal heterogeneous graph, which contains multiple layers of information corresponding to the visual, semantic and factual features. On top of the multi-layer graph representations, we propose a modality-aware heterogeneous graph convolutional network to capture evidence from different layers that is most relevant to the given question. Specifically, the intra-modal graph convolution selects evidence from each modality and cross-modal graph convolution aggregates relevant information across different modalities. By stacking this process multiple times, our model performs iterative reasoning and predicts the optimal answer by analyzing all question-oriented evidence. We achieve a new state-of-the-art performance on the FVQA task and demonstrate the effectiveness and interpretability of our model with extensive experiments.

研究动机与目标

• 解决基于事实的视觉问答（FVQA）中的挑战，即答案需要超出图像可见内容的外部知识。
• 克服现有 FVQA 模型将所有视觉、语义和事实信息一视同仁的局限，避免因缺乏细粒度、问题导向的证据选择而引入噪声。
• 构建统一框架，将图像建模为多层异构图，以捕捉视觉、语义和事实模态之间的互补证据。
• 通过注意力机制和门控可视化，实现可解释的推理，识别对最终答案贡献最大的模态和实体。
• 通过在结构化多模态图上进行迭代式跨模态推理，实现在 Visual7W+KB 和 OK-VQA 等基准 FVQA 数据集上的最先进性能。

提出的方法

• 将图像表示为包含三个独立图层的多层异构图：视觉层（物体外观和关系）、语义层（高层抽象）和事实层（来自 ConceptNet 的知识库三元组）。
• 应用模态感知异构图卷积网络（HGNN），在每个模态图层内执行图卷积，以提取与问题相关的特征。
• 通过跨模态图卷积在视觉、语义和事实图层之间聚合互补证据，由问题嵌入引导。
• 在每个卷积层中引入可学习注意力机制，动态选择与当前问题最相关的证据。
• 堆叠多层模态感知 HGNN，实现迭代推理，在多跳传播中逐步优化特征表示。
• 采用门控机制和注意力权重，通过突出显示对预测贡献最大的模态和实体，提升模型可解释性。

实验结果

研究问题

• RQ1 如何在结构化、多模态表示中有效整合视觉、语义和事实知识，以实现视觉问答？
• RQ2 模态感知图卷积网络是否能通过选择性关注跨模态的问题相关证据，提升基于事实的 VQA 中的推理性能？
• RQ3 与单次传递或联合嵌入方法相比，迭代式多层跨模态推理在多大程度上提升了答案准确率？
• RQ4 能否通过可视化跨模态的注意力权重和门控值，使模型的推理过程变得可解释？
• RQ5 所提出的多层异构图框架是否在开放域、知识密集型 VQA 基准上优于现有最先进模型？

主要发现

• Mucko 在 Visual7W+KB 数据集上达到新的最先进性能，top-1 准确率为 68.88%，top-3 准确率为 85.13%，显著优于先前所有模型，包括集成方法。
• 在具有挑战性的 OK-VQA 基准上，Mucko 实现 29.20% 的整体准确率和 30.66% 的 top-1 准确率，超越所有对比模型，包括最先进 VQA 模型（如 BAN 和 MUTAN）和知识增强型集成模型。
• 尽管仅为单模型，Mucko 在 Visual7W+KB 上仍优于基于集成的 KDMN-Ensemble 模型，展现出更强的泛化能力和效率。
• 消融实验表明，模态内和模态间推理组件均至关重要，模态感知注意力显著提升性能。
• 注意力权重和门控值的可视化结果表明，模型具备良好可解释性，清晰展示了各模态对预测的特定贡献。
• 多层异构图表示能有效捕捉视觉、语义和事实模态之间的互补证据，实现对开放域知识的鲁棒推理。