[论文解读] Dual Attention Networks for Multimodal Reasoning and Matching

Hyeonseob Nam, Jung-Woo Ha+1 more|arXiv (Cornell University)|Nov 2, 2016

Multimodal Machine Learning Applications参考文献 34被引用 46

一句话总结

本文提出双注意力网络（DANs），一种统一框架，通过联合建模视觉与文本注意力，提升多模态推理与匹配性能。通过在推理中实现跨模态注意力引导，在匹配中实现共享语义对齐，DANs 在 VQA 和 Flickr30K 图像-文本匹配基准上取得最先进性能。

ABSTRACT

We propose Dual Attention Networks (DANs) which jointly leverage visual and textual attention mechanisms to capture fine-grained interplay between vision and language. DANs attend to specific regions in images and words in text through multiple steps and gather essential information from both modalities. Based on this framework, we introduce two types of DANs for multimodal reasoning and matching, respectively. The reasoning model allows visual and textual attentions to steer each other during collaborative inference, which is useful for tasks such as Visual Question Answering (VQA). In addition, the matching model exploits the two attention mechanisms to estimate the similarity between images and sentences by focusing on their shared semantics. Our extensive experiments validate the effectiveness of DANs in combining vision and language, achieving the state-of-the-art performance on public benchmarks for VQA and image-text matching.

研究动机与目标

• 为解决多模态任务中孤立视觉与文本注意力机制的局限性，提出统一框架以实现跨模态交互。
• 通过允许视觉与文本注意力相互迭代引导，提升视觉问答（VQA）等任务中的多模态推理能力。
• 通过联合训练视觉与文本注意力以发现共享语义并学习联合嵌入空间，提升图像-文本匹配性能。
• 通过在公开基准上的定性与定量分析，验证双注意力机制的有效性。
• 证明联合注意力学习可生成更准确且可解释的注意力图，聚焦于相关图像区域与词语。

提出的方法

• 提出两种变体：用于多模态推理的推理-DAN（r-DAN）和用于跨模态相似性估计的匹配-DAN（m-DAN）。
• 在 r-DAN 中，视觉与文本注意力通过共享记忆联合更新，该记忆存储并引导多步过程中的先前注意力状态。
• 在 m-DAN 中，视觉与文本注意力模型分别训练，但通过联合优化对齐共享语义内容，推理过程中不共享记忆。
• 采用双注意力机制，基于跨模态上下文迭代优化图像区域与词语的注意力权重。
• 在 r-DAN 中使用联合记忆机制，以递归方式整合先前注意力结果并指导未来注意力决策。
• 采用端到端训练，结合交叉熵损失用于分类任务与对比损失用于匹配任务，实现双模态的联合优化。

实验结果

研究问题

• RQ1 联合建模视觉与文本注意力是否能提升视觉问答等多模态推理任务的性能？
• RQ2 双注意力机制是否能有效捕捉图像与句子之间的共享语义，从而提升图像-文本匹配性能？
• RQ3 迭代式、跨模态注意力优化是否能带来比孤立注意力机制更准确且可解释的注意力定位？
• RQ4 所提出的框架是否可泛化至 VQA 和匹配任务之外的其他视觉-语言任务？
• RQ5 在注意力图质量与下游性能方面，双注意力机制与现有基于注意力的模型相比表现如何？

主要发现

• r-DAN 在 VQA 数据集上取得最先进性能，在开放式与多选题问答任务中均优于先前方法。
• 在 VQA 基准上，r-DAN 在开放式设置的 test-std 划分上达到 70.1% 的准确率，超越先前方法且无需数据增强。
• m-DAN 在 Flickr30K 数据集上取得最先进结果，Recall@1 为 77.8%，Recall@5 为 92.1%，Recall@10 为 95.3%，优于先前最先进模型。
• 定性注意力可视化显示，r-DAN 正确聚焦于相关图像区域与问题词语，例如在 VQA 示例中关注 'umbrella' 和 'color'。
• 在 m-DAN 中，注意力图逐步识别主要主体（如 'woman', 'boy'），随后聚焦于相关对象或动作（如 'computer', 'sweeps'），展现出有效的语义对齐。
• m-DAN 中视觉与文本注意力的联合训练，相比独立训练，生成了更连贯且语义对齐的注意力模式。