[论文解读] A Joint Sequence Fusion Model for Video Question Answering and Retrieval

Youngjae Yu, Jong-Seok Kim+1 more|arXiv (Cornell University)|Aug 7, 2018

Multimodal Machine Learning Applications被引用 10

一句话总结

该论文提出JSFusion，一种联合序列融合模型，通过使用联合语义张量（JST）生成视频与语言等多模态序列数据之间的密集成对表示，并利用卷积分层解码器（CHD）通过注意力机制发现分层对齐，从而度量其语义相似性。该模型在LSMDC和MSR-VTT数据集上的视频问答与检索任务中均取得了最先进性能。

ABSTRACT

We present an approach named JSFusion (Joint Sequence Fusion) that can measure semantic similarity between any pairs of multimodal sequence data (e.g. a video clip and a language sentence). Our multimodal matching network consists of two key components. First, the Joint Semantic Tensor composes a dense pairwise representation of two sequence data into a 3D tensor. Then, the Convolutional Hierarchical Decoder computes their similarity score by discovering hidden hierarchical matches between the two sequence modalities. Both modules leverage hierarchical attention mechanisms that learn to promote well-matched representation patterns while prune out misaligned ones in a bottom-up manner. Although the JSFusion is a universal model to be applicable to any multimodal sequence data, this work focuses on video-language tasks including multimodal retrieval and video QA. We evaluate the JSFusion model in three retrieval and VQA tasks in LSMDC, for which our model achieves the best performance reported so far. We also perform multiple-choice and movie retrieval tasks for the MSR-VTT dataset, on which our approach outperforms many state-of-the-art methods.

研究动机与目标

• 为解决度量视频与自然语言句子等多模态序列数据之间细粒度语义相似性的挑战。
• 实现视频中的子事件与语言描述中的短语之间的分层匹配，克服单向量嵌入的局限性。
• 开发一种通用且可适应的框架，用于视频问答与检索任务，无需依赖真实标签的解析或分割。
• 通过端到端可学习的注意力机制，在多模态检索与视频问答基准上超越现有方法。

提出的方法

• 联合语义张量（JST）通过Hadamard积在视频帧与语言词之间构建三维密集成对嵌入张量，并通过分层注意力进行优化。
• 卷积分层解码器（CHD）应用带有可学习门控的卷积层，从JST张量中发现局部对齐与分层组合表示。
• JST与CHD均采用自底向上的注意力机制，以促进良好匹配模式并抑制错位模式。
• 模型在JST处理前使用BLSTM编码器对视频与语言序列进行编码，以捕捉长距离依赖关系。
• 最终相似度得分由CHD计算，其将分层匹配聚合为序列对的单一匹配得分。
• 该架构通过对比损失进行检索任务的端到端训练，通过交叉熵损失进行问答任务的端到端训练。

实验结果

研究问题

• RQ1 联合序列融合模型能否有效捕捉视频与语言序列之间的分层语义匹配？
• RQ2 与单向量嵌入相比，使用三维联合张量与分层解码是否能提升视频-语言匹配任务的性能？
• RQ3 JST与CHD中的注意力机制如何促进更好的对齐并抑制错位表示？
• RQ4 所提出的模型能否在多种视频-语言任务（包括多选题问答与检索）中实现良好泛化？
• RQ5 各组件（如注意力、卷积、池化）对整体性能的贡献如何？

主要发现

• JSFusion在LSMDC的三项挑战中均取得最佳报告性能：多选题测试、电影检索与填空题，显著优于先前方法。
• 在MSR-VTT数据集上，JSFusion在多选题问答与电影检索任务中均优于众多最先进模型，展现出在多样化视频内容上的强大泛化能力。
• 消融实验表明，若移除CHD的卷积层与门控机制，准确率与召回率将下降4.1%至5.7%，证明其关键作用。
• 无音频输入的模型性能仅略低于完整模型，表明视觉与语言特征是性能的主要驱动因素。
• 定性分析表明，JSFusion能有效利用完整句子上下文并聚焦于相关视觉子事件，但偶尔会误判细微视觉线索（如面部表情）或词序细微差别。