[论文解读] High-Order Attention Models for Visual Question Answering

Idan Schwartz, Alexander G. Schwing+1 more|arXiv (Cornell University)|Nov 12, 2017

Multimodal Machine Learning Applications参考文献 21被引用 45

一句话总结

本文提出了一种新颖的高阶注意力机制，用于在视觉问答（VQA）任务中建模视觉与文本输入之间的复杂多模态相关性。通过学习图像区域与问题词汇之间的二阶及更高阶交互，该方法在标准VQA数据集上实现了最先进性能，且模型参数量相对较少（40M参数），尽管嵌入维度较低、架构更简单，仍优于现有的基于注意力的模型。

ABSTRACT

The quest for algorithms that enable cognitive abilities is an important part of machine learning. A common trait in many recently investigated cognitive-like tasks is that they take into account different data modalities, such as visual and textual input. In this paper we propose a novel and generally applicable form of attention mechanism that learns high-order correlations between various data modalities. We show that high-order correlations effectively direct the appropriate attention to the relevant elements in the different data modalities that are required to solve the joint task. We demonstrate the effectiveness of our high-order attention mechanism on the task of visual question answering (VQA), where we achieve state-of-the-art performance on the standard VQA dataset.

研究动机与目标

• 解决现有注意力机制在多模态学习中的局限性，这些机制通常将模态分开处理或依赖人工设计。
• 开发一种通用的注意力机制，显式建模多种数据模态（如图像和文本）之间的高阶相关性。
• 通过更高阶交互联合关注相关图像区域和问题词汇，提升视觉问答中的性能与可解释性。
• 在标准基准上验证所提机制的有效性，展示使用轻量化模型实现最先进结果。

提出的方法

• 该方法提出一种基于高阶势函数的概率注意力框架，其中一元势表示单个模态的注意力（如图像或问题），成对或更高阶势用于建模模态之间的交互。
• 采用广义版本的多模态紧凑双线性（MCB）层进行多模态融合，扩展至三个模态（图像、问题和多选答案），称为MCT（多模态紧凑张量）。
• 注意力机制通过类似条件随机场（CRF）的公式结合一元势与成对势，实现注意力权重的结构化预测。
• 模型在VQA数据集上端到端训练，使用交叉熵损失，特征由预训练网络提取（如图像使用VGG，问题使用LSTM）。
• 该框架可扩展至任意数量的模态，支持对超越两两交互的复杂依赖关系进行灵活建模。
• 最终注意力图通过学习得到的权重组合一元势与成对势计算得出。

实验结果

研究问题

• RQ1 视觉与文本模态之间的高阶相关性是否能提升视觉问答性能？
• RQ2 在图像、问题和答案三模态上建模交互关系，是否能提升注意力质量与VQA准确率？
• RQ3 基于高阶势的简单通用注意力机制能否超越复杂且任务特定的注意力模块？
• RQ4 所提方法是否通过将注意力对齐至语义相关的图像区域与问题词汇，提升了可解释性？

主要发现

• 所提出的高阶注意力机制在VQA测试开发集与测试标准集上均达到最先进性能，使用两层MCB融合处理三模态时，验证集准确率达到64.57%。
• 即使仅使用4000万参数和512的较低嵌入维度，该模型仍优于现有方法（后者使用超过7000万参数和更高维特征）。
• 三模态模型相比两模态基线模型表现出显著性能提升，证明了建模高阶交互的重要性。
• 定性分析显示，成对势能有效根据问题内容对齐相关视觉区域，例如在询问数量时关注眼镜，或在询问衣物颜色时关注穿蓝色衬衫的人。
• 模型成功将注意力聚焦于相关图像区域与问题词汇，例如在询问电池供电设备时关注笔记本电脑，从而提升答案准确率。
• 失败案例显示，当模型错误地关注显著但无关的物体（如色彩鲜艳的雨伞）而非目标对象时，存在局限性，表明其在处理模糊或干扰性视觉特征方面仍有不足。