[论文解读] Movie Question Answering: Remembering the Textual Cues for Layered Visual Contents

Bo Wang, Youjiang Xu+2 more|arXiv (Cornell University)|Apr 25, 2018

Multimodal Machine Learning Applications参考文献 27被引用 6

一句话总结

本文提出了一种分层记忆网络（LMN）用于电影问答任务，通过分层记忆架构整合视觉特征与字幕信息：静态词记忆模块编码帧级别的视觉-文本对应关系，而动态字幕记忆模块捕捉片段级别的时序对齐。该模型在MovieQA 'Video+Subtitles'基准上取得最先进性能，截至2017年9月，其在线评估服务器排名首位。

ABSTRACT

Movies provide us with a mass of visual content as well as attracting stories. Existing methods have illustrated that understanding movie stories through only visual content is still a hard problem. In this paper, for answering questions about movies, we put forward a Layered Memory Network (LMN) that represents frame-level and clip-level movie content by the Static Word Memory module and the Dynamic Subtitle Memory module, respectively. Particularly, we firstly extract words and sentences from the training movie subtitles. Then the hierarchically formed movie representations, which are learned from LMN, not only encode the correspondence between words and visual content inside frames, but also encode the temporal alignment between sentences and frames inside movie clips. We also extend our LMN model into three variant frameworks to illustrate the good extendable capabilities. We conduct extensive experiments on the MovieQA dataset. With only visual content as inputs, LMN with frame-level representation obtains a large performance improvement. When incorporating subtitles into LMN to form the clip-level representation, we achieve the state-of-the-art performance on the online evaluation task of 'Video+Subtitles'. The good performance successfully demonstrates that the proposed framework of LMN is effective and the hierarchically formed movie representations have good potential for the applications of movie question answering.

研究动机与目标

• 为解决仅使用视觉内容理解电影故事的挑战，由于复杂叙事结构与视觉模糊性，该问题本质上具有难度。
• 通过将字幕中的文本线索与视觉特征相结合，提升语义理解能力，从而改进电影问答性能。
• 开发一种分层记忆框架，以建模帧级别的视觉-文本对齐关系以及片段级别的时序-句子关系。
• 通过多种变体架构，展示LMN模型的有效性与可扩展性。

提出的方法

• 该模型使用静态词记忆模块，对电影字幕中的词级语义信息进行编码，以生成帧级别的视觉表征。
• 采用动态字幕记忆模块，学习句子与电影片段中视觉内容之间的时序对齐关系。
• 该框架首先将帧级特征输入静态词记忆模块，再将输出结果送入动态字幕记忆模块，以生成片段级别的表征。
• 引入三种扩展框架：(1) 动态字幕记忆模块的更新机制，用于过滤无关信息；(2) 问题引导的注意力机制，聚焦于相关记忆内容；(3) 两者结合以提升推理能力。
• 模型使用GoogLeNet与VGG-16的特征作为视觉输入，并在MovieQA数据集上训练词嵌入。
• 分层架构支持在帧内实现视觉-文本对应关系的联合学习，同时在片段间实现时序连贯性建模。

实验结果

研究问题

• RQ1 仅依靠视觉表示能否在电影问答任务中取得优异性能，还是说文本上下文对于复杂叙事理解至关重要？
• RQ2 如何有效融合视觉与文本模态，以建模电影中帧内与帧间的关系？
• RQ3 与平坦记忆结构或仅注意力机制的模型相比，分层记忆机制在视频问答推理中能带来多大程度的性能提升？
• RQ4 动态记忆更新机制与问题引导注意力是否能增强模型过滤噪声的能力并提升答案准确率？

主要发现

• 仅使用帧级表征的LMN在'Video+Subtitles'任务上达到34.34%的性能，表明仅依赖视觉内容即可实现强大的基线表现。
• 通过动态字幕记忆模块引入字幕信息后，性能显著提升，最佳变体在MovieQA在线评估服务器上达到39.03%的准确率。
• 结合更新机制与问题引导注意力的变体相比仅使用更新机制的版本，性能提升0.9%，证实了推理能力与相关性过滤的增强。
• 截至2017年9月10日，该模型在MovieQA在线排行榜的'Video+Subtitles'任务中排名第一，优于先前方法如DEMN（29.97%）与RWMN（36.25%）。
• 静态词记忆模块在不同跳数下表现稳定，表明其具有鲁棒性，尽管其词汇量庞大（26,630）且维度固定（300）。
• 模型示例显示，语言元素（如'Verry'、'red ink'）能与相关视觉内容实现准确对齐，即使未显式建立词与帧的对应关系。