[论文解读] Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering

Chenyou Fan, Xiaofan Zhang+4 more|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications参考文献 28被引用 35

一句话总结

本文提出一个端到端的视频问答框架，具备 (i) 将外观与运动特征融合的异质记忆，(ii) 为复杂语义理解重新设计的问题记忆，以及 (iii) 允许在视觉和文本线索上进行多步推理的多模态融合层。

ABSTRACT

In this paper, we propose a novel end-to-end trainable Video Question Answering (VideoQA) framework with three major components: 1) a new heterogeneous memory which can effectively learn global context information from appearance and motion features; 2) a redesigned question memory which helps understand the complex semantics of question and highlights queried subjects; and 3) a new multimodal fusion layer which performs multi-step reasoning by attending to relevant visual and textual hints with self-updated attention. Our VideoQA model firstly generates the global context-aware visual and textual features respectively by interacting current inputs with memory contents. After that, it makes the attentional fusion of the multimodal visual and textual representations to infer the correct answer. Multiple cycles of reasoning can be made to iteratively refine attention weights of the multimodal data and improve the final representation of the QA pair. Experimental results demonstrate our approach achieves state-of-the-art performance on four VideoQA benchmark datasets.

研究动机与目标

• 通过异质记忆架构，展示联合建模外观和运动特征以用于 VideoQA 的必要性。
• 设计一个记忆增强的框架，能够捕捉视频和问题表示的全局上下文。
• 开发一个多模态融合模块，使在视觉和文本提示上进行多步推理成为可能。
• 在多个 VideoQA 基准上展示最先进的性能并提供全面的消融实验。

提出的方法

• 引入一个异质外部记忆，联合写入外观和运动内容，以学习对齐的时空注意。
• 开发一个读/写机制，具有独立的运动/外观隐藏状态和全局记忆状态，以产生具备上下文感知的视频特征。
• 融入重新设计的外部问题记忆，以捕捉问题的复杂、依赖上下文的语义。
• 提出一个多模态融合层，带有一个 LSTM 控制器，在迭代过程中对视频和问题特征进行注意并更新融合表示。
• 应用多步推理（L iterations）来细化注意权重和最终的 QA 表示。
• 使用 Adam 优化器，使用标准 VideoQA 损失函数（多选和开放式）进行端到端训练。

实验结果

研究问题

• RQ1 异质记忆如何有效整合外观和运动特征，以学习用于 VideoQA 的联合时空注意？
• RQ2 重新设计的问题记忆是否能更好地捕捉复杂的问题语义并突出查询对象？
• RQ3 带有迭代推理的多模态融合层是否能改善视觉内容与问题线索之间的对齐，从而获得更准确的答案？
• RQ4 多步推理迭代对最终 VideoQA 性能有何影响？
• RQ5 基于记忆的架构是否在标准 VideoQA 基准上优于早融合/晚融合基线？

主要发现

• 所提出的模型在四个 VideoQA 基准数据集上实现了最先进的性能。
• 融合视觉特征和问题语义的记忆模块在注意力和推理方面优于基线。
• 联合视觉记忆（appearance + motion）始终优于 episodic memory 和简单融合变体。
• 带有多步推理的多模态融合层提高了视频内容与问题线索之间的对齐，在 TGIF-QA 和其他数据集上超越 ST-VQA 和 Co-Mem 基线。
• 消融研究表明视觉记忆和问题记忆对性能提升都贡献显著，组合使用时收益更大。