[论文解读] Dual Recurrent Attention Units for Visual Question Answering

Ahmed Osman, Wojciech Samek|arXiv (Cornell University)|Feb 1, 2018

Multimodal Machine Learning Applications参考文献 37被引用 6

一句话总结

本文提出双循环注意力单元（DRAU），一种新颖的视觉问答（VQA）架构，采用循环注意力单元（RAUs）对视觉和文本模态进行建模，以提升注意力推理能力。通过用循环机制替代传统的卷积注意力，DRAU在VQA 1.0上达到最先进性能，并超越2016年和2017年挑战赛冠军模型，展现出在复杂、关系性问题上更优的注意力质量与推理能力。

ABSTRACT

Visual Question Answering (VQA) requires AI models to comprehend data in two domains, vision and text. Current state-of-the-art models use learned attention mechanisms to extract relevant information from the input domains to answer a certain question. Thus, robust attention mechanisms are essential for powerful VQA models. In this paper, we propose a recurrent attention mechanism and show its benefits compared to the traditional convolutional approach. We perform two ablation studies to evaluate recurrent attention. First, we introduce a baseline VQA model with visual attention and test the performance difference between convolutional and recurrent attention on the VQA 2.0 dataset. Secondly, we design an architecture for VQA which utilizes dual (textual and visual) Recurrent Attention Units (RAUs). Using this model, we show the effect of all possible combinations of recurrent and convolutional dual attention. Our single model outperforms the first place winner on the VQA 2016 challenge and to the best of our knowledge, it is the second best performing single model on the VQA 1.0 dataset. Furthermore, our model noticeably improves upon the winner of the VQA 2017 challenge. Moreover, we experiment replacing attention mechanisms in state-of-the-art models with our RAUs and show increased performance.

研究动机与目标

• 解决VQA中浅层卷积注意力机制在捕捉序列与关系推理方面的局限性。
• 通过以人类认知注意力过程为启发的序列化、循环化方式建模注意力，提升多模态理解能力。
• 通过受控消融实验表明，循环注意力机制可在VQA中超越标准卷积注意力。
• 开发一种模块化、即插即用的注意力机制（RAU），以增强现有最先进模型。
• 证明双循环注意力单元（DRAU）可实现对需要多步视觉与文本注意力的复杂问题的更好推理。

提出的方法

• 提出循环文本注意力单元（RTAU）与循环视觉注意力单元（RVAU），其中门控循环单元（GRUs）在序列特征上生成注意力权重。
• 将RAUs集成到双注意力机制中，通过循环处理联合关注视觉与文本特征，以提升推理能力。
• 设计一种简单而高效的DRAU网络架构，在统一的VQA框架中用RAUs替代标准卷积注意力。
• 使用受控基线模型（除注意力机制外架构完全相同，对比卷积与循环机制）以隔离性能提升来源。
• 将RAUs作为插件模块应用于最先进模型（MCB、MUTAN、MFH），以评估其泛化能力与性能增益。
• 在VQA 1.0与VQA 2.0数据集上端到端训练模型，采用交叉熵损失与Adam优化，视觉特征来自ResNet-152，词嵌入使用GloVe。

实验结果

研究问题

• RQ1 循环注意力机制是否能在VQA任务中超越传统卷积注意力？
• RQ2 双循环注意力（DRAU）在推理能力与准确率方面，相较于混合或单模态注意力机制表现如何？
• RQ3 当将RAUs插入现有最先进VQA模型时，其性能提升程度如何？
• RQ4 在复杂、关系性推理问题中，RAUs的注意力图质量与标准注意力相比如何？
• RQ5 循环结构是否能提升需要多跳推理或目标计数类问题的泛化能力？

主要发现

• DRAU模型在VQA 1.0数据集上达到75.4%的测试准确率，在单模型中位列第二，仅次于最先进模型。
• 在VQA 2.0数据集上，DRAU在单模型设置下超越了VQA 2016挑战赛第一名模型，并超过2017年挑战赛冠军模型。
• 在受控消融实验中，循环注意力相比卷积注意力在基线模型中提升4%的绝对准确率，证明了循环机制的优越性。
• 消融研究显示，同时使用RTAU与RVAU可获得最高性能，证实双循环注意力优于任何卷积或循环机制的组合。
• 当将RAUs替换至MCB、MUTAN与MFH模型时，所有模型均表现出一致的性能提升，验证了RAUs的模块化与泛化能力。
• 定性分析表明，DRAU生成的注意力图更具连贯性与上下文相关性，尤其在需要关系推理或多步推理的问题（如计数特定对象或定位空间关系）中表现更优。