[论文解读] MGA-VQA: Multi-Granularity Alignment for Visual Question Answering

Peixi Xiong, Yilin Shen+1 more|arXiv (Cornell University)|Jan 25, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

MGA-VQA 提出了一种用于视觉问答的多粒度对齐框架，通过在三个层次上学习模态内和模态间相关性（概念-实体、区域-名词短语、空间-句子），增强了跨模态注意力。通过使用结构化引导图和决策融合模块，该模型在无需额外预训练数据的情况下，在 GQA 和 VQA-v2 上实现了最先进性能，甚至在 GQA 上超越了部分预训练模型。

ABSTRACT

Learning to answer visual questions is a challenging task since the multi-modal inputs are within two feature spaces. Moreover, reasoning in visual question answering requires the model to understand both image and question, and align them in the same space, rather than simply memorize statistics about the question-answer pairs. Thus, it is essential to find component connections between different modalities and within each modality to achieve better attention. Previous works learned attention weights directly on the features. However, the improvement is limited since these two modality features are in two domains: image features are highly diverse, lacking structure and grammatical rules as language, and natural language features have a higher probability of missing detailed information. To better learn the attention between visual and text, we focus on how to construct input stratification and embed structural information to improve the alignment between different level components. We propose Multi-Granularity Alignment architecture for Visual Question Answering task (MGA-VQA), which learns intra- and inter-modality correlations by multi-granularity alignment, and outputs the final result by the decision fusion module. In contrast to previous works, our model splits alignment into different levels to achieve learning better correlations without needing additional data and annotations. The experiments on the VQA-v2 and GQA datasets demonstrate that our model significantly outperforms non-pretrained state-of-the-art methods on both datasets without extra pretraining data and annotations. Moreover, it even achieves better results over the pre-trained methods on GQA.

研究动机与目标

• 通过在单一层次融合之外改进跨模态注意力，解决 VQA 中视觉与文本特征对齐的挑战。
• 克服现有方法依赖直接特征融合或无结构引导注意力的局限性。
• 通过学习图像和语言组件在多个粒度层次上的相关性，提升 VQA 的可解释性和鲁棒性。
• 通过引入图结构化的多粒度注意力机制，消除对大规模预训练数据的依赖。
• 证明结构化、多层级对齐可提升推理与泛化能力，尤其在复杂视觉推理任务中表现更优。

提出的方法

• 引入三个粒度层次：概念-实体（图像）、区域-名词短语（图像与问题）、空间-句子（整个图像与问题）。
• 构建引导图，将结构信息嵌入每个粒度层次的图像和问题表示中。
• 为每个粒度层次应用独立的 Transformer（GA-TRMs），以学习模态内和模态间相关性。
• 实现一种协同注意力机制，联合执行问题引导的视觉注意力和图像引导的问题注意力。
• 使用决策融合模块，将所有粒度层次的输出进行融合，以进行最终答案预测。
• 端到端训练，不依赖额外的预训练数据，完全依赖架构本身学习分层对齐能力。

实验结果

研究问题

• RQ1 在不依赖大规模预训练数据的前提下，多粒度对齐能否提升视觉问答性能？
• RQ2 在图像和语言组件的多个层次上学习相关性，如何影响模型的鲁棒性和可解释性？
• RQ3 引入结构化图信息（引导图）在多大程度上增强了跨模态注意力与推理能力？
• RQ4 在不同粒度层次上联合学习模态内和模态间相关性，是否能带来优于单一层级对齐的泛化能力？
• RQ5 模型是否能在不依赖外部预训练数据或标注的情况下，在 GQA 和 VQA-v2 上实现最先进性能？

主要发现

• 在 GQA 的测试-std 分割上，MGA-VQA 达到了 79.4% 的 top-1 准确率，优于非预训练的最先进方法，甚至超越了部分预训练模型。
• 在 VQA-v2 的测试-开发分割上，模型达到了 65.8% 的 top-1 准确率，证明了其在无任何预训练数据情况下的强大性能。
• 消融研究证实，多粒度对齐至关重要：移除任一层次均导致性能下降，且在使用全部三个层次时准确率最高。
• 引导图组件显著提升了性能，当其被移除时准确率下降 2.1%，表明其在引导对齐中的关键作用。
• 即使高层级概念检测不准确，模型仍能保持强性能，得益于低层级对齐提供了补偿性细节。
• 在训练中使用真实场景图时，准确率达到 92.79%，证实当提供准确结构输入时，模型具备强大的推理能力。