[论文解读] From Pixels to Objects: Cubic Visual Attention for Visual Question Answering

Jingkuan Song, Pengpeng Zeng+2 more|arXiv (Cornell University)|Jun 4, 2022

Multimodal Machine Learning Applications被引用 12

一句话总结

本文提出了一种新型的视觉问答（VQA）框架——立方体视觉注意力（Cubic Visual Attention, CVA），该框架在基于物体的区域上而非像素级特征上应用联合通道与空间注意力机制，利用卷积神经网络（CNN）固有的空间与通道结构。CVA在标准测试集上的表现优于当前最先进方法，最高提升达6.8%，在COCO-QA数据集上达到67.51%的准确率，在Visual7W数据集上达到63.8%。

ABSTRACT

Recently, attention-based Visual Question Answering (VQA) has achieved great success by utilizing question to selectively target different visual areas that are related to the answer. Existing visual attention models are generally planar, i.e., different channels of the last conv-layer feature map of an image share the same weight. This conflicts with the attention mechanism because CNN features are naturally spatial and channel-wise. Also, visual attention models are usually conducted on pixel-level, which may cause region discontinuous problems. In this paper, we propose a Cubic Visual Attention (CVA) model by successfully applying a novel channel and spatial attention on object regions to improve VQA task. Specifically, instead of attending to pixels, we first take advantage of the object proposal networks to generate a set of object candidates and extract their associated conv features. Then, we utilize the question to guide channel attention and spatial attention calculation based on the con-layer feature map. Finally, the attended visual features and the question are combined to infer the answer. We assess the performance of our proposed CVA on three public image QA datasets, including COCO-QA, VQA and Visual7W. Experimental results show that our proposed method significantly outperforms the state-of-the-arts.

研究动机与目标

• 为解决平面视觉注意力机制对所有通道一视同仁且在像素级别操作的局限性。
• 通过聚焦于物体提议而非像素级别特征，克服像素级注意力固有的区域不连续性问题。
• 更好地与卷积神经网络特征的天然空间与通道结构对齐。
• 通过在基于物体的特征上联合建模通道注意力与空间注意力，提升视觉问答性能。
• 证明基于物体区域的立方体注意力能显著增强对各类问题类型（如开放性问题、选择题、物体识别、数字、颜色、位置等）的答案预测能力。

提出的方法

• 使用物体提议网络（如Faster R-CNN）从输入图像中提取top-k个物体区域。
• 从最后一个卷积层提取每个物体区域的D维CNN特征。
• 在特征图上应用基于问题引导的通道注意力，根据问题上下文动态加权语义通道。
• 在通道加权后的特征上应用基于区域的空间注意力，以选择最相关的物体区域。
• 通过多模态交互模块将注意力后的视觉特征与问题嵌入进行融合。
• 利用基于融合表示的分类器预测最终答案。

实验结果

研究问题

• RQ1 与像素级注意力相比，基于物体区域的联合通道与空间注意力是否能提升视觉问答性能？
• RQ2 同时建模空间与通道注意力是否更符合卷积神经网络特征的层次化结构？
• RQ3 基于物体的特征表示能否减少像素级注意力中常见的区域不连续性问题？
• RQ4 在各类问题类型（如开放性问题、选择题、物体识别、数字、颜色、位置等）中，CVA与最先进模型相比在准确率上表现如何？
• RQ5 CVA是否仅通过视觉注意力机制即可实现优越性能，而无需复杂的文本注意力机制？

主要发现

• 在COCO-QA测试-开发集上，CVA达到67.51%的top-1准确率，优于先前最先进方法HieCoAtt（2.11%）和QRU（5.01%）。
• 在Visual7W数据集上，CVA达到63.8%的平均准确率，尽管仅使用视觉注意力，仍超越MLAN（62.4%）和LSTM-Att（54.3%）。
• 在COCO-QA测试-标准集上，CVA在开放性问题与所有类型问题中相比最佳基线模型（ACK）提升6.8%。
• 在COCO-QA上，CVA取得76.70 WUPS0.9的指标，表明其在答案语义相似性方面表现优异。
• CVA在物体识别与位置问题上表现尤为出色（准确率分别为69.55%与59.93%），显示出强大的区域推理能力。
• 消融实验证实，通道注意力与空间注意力均对性能有显著贡献，其中通道注意力在语义属性选择方面尤为有效。