[论文解读] A Read-Write Memory Network for Movie Story Understanding

Seil Na, Sang-Ho Lee+2 more|arXiv (Cornell University)|Sep 27, 2017

Multimodal Machine Learning Applications参考文献 24被引用 15

一句话总结

该论文提出了一种读写记忆网络（RWMN），通过多层卷积网络实现记忆的读取与写入操作，以提升多模态电影故事理解能力。通过将顺序记忆单元视为连续块而非独立单元，RWMN在MovieQA基准测试中实现了最先进性能，尤其在需要复杂、抽象推理的任务（如'为什么'类问题）上表现突出。

ABSTRACT

We propose a novel memory network model named Read-Write Memory Network (RWMN) to perform question and answering tasks for large-scale, multimodal movie story understanding. The key focus of our RWMN model is to design the read network and the write network that consist of multiple convolutional layers, which enable memory read and write operations to have high capacity and flexibility. While existing memory-augmented network models treat each memory slot as an independent block, our use of multi-layered CNNs allows the model to read and write sequential memory cells as chunks, which is more reasonable to represent a sequential story because adjacent memory blocks often have strong correlations. For evaluation, we apply our model to all the six tasks of the MovieQA benchmark, and achieve the best accuracies on several tasks, especially on the visual QA task. Our model shows a potential to better understand not only the content in the story, but also more abstract information, such as relationships between characters and the reasons for their actions.

研究动机与目标

• 解决理解长篇、多模态电影故事所面临的挑战，此类故事需要事实性推理与抽象推理相结合。
• 克服RNN与标准记忆网络在捕捉序列叙事中长距离依赖关系与高层抽象方面的局限性。
• 提升复杂问题类型（尤其是需要推断角色关系与动机的'为什么'类问题）的性能。
• 设计一种将记忆视为连续块而非孤立存储槽的记忆机制，以利用故事推进过程中的时空相关性。

提出的方法

• 提出一种新型记忆网络架构RWMN，其中记忆读取与写入操作通过深度卷积网络实现，而非全连接或基于注意力的机制。
• 在读取与写入网络中使用多层CNN，将顺序记忆单元作为连续块处理，通过分层特征学习捕捉更高阶表示。
• 将读取与写入网络结构化为可学习的卷积滤波器，其中滤波器大小、通道数与步长为可调超参数，以优化性能。
• 将RWMN模型应用于MovieQA基准，利用视频、字幕与文本输入，在多模态设置下回答六类不同问题类型。
• 采用端到端训练方式，以答案预测的交叉熵损失进行优化，同时通过软注意力机制关注电影中的相关时间片段。
• 通过在时间维度上学习注意力图，使模型隐式学习在长视频中应关注的位置，即使缺乏真实注意力监督亦可实现。

实验结果

研究问题

• RQ1 基于CNN的读写机制是否能提升记忆网络在长篇、多模态故事理解任务中的性能？
• RQ2 将记忆建模为连续块而非孤立槽位，是否能增强对复杂叙事的推理能力？
• RQ3 RWMN模型是否能在电影问答中的抽象推理问题（如'为什么？'）上超越现有记忆网络？
• RQ4 读写网络的深度与架构如何影响其在视觉与多模态问答任务中的性能表现？
• RQ5 RWMN在缺乏显式监督的情况下，能在多大程度上隐式学习到长视频中相关的时间注意力位置？

主要发现

• 截至ICCV2017截稿日期，RWMN在MovieQA测试集的六项任务中有四项表现最佳，在验证集的五项任务中有四项表现最佳。
• 当使用1层写入网络与1层读取网络，滤波器设置分别为(40,30,3)与(3,1,1)时，RWMN在视频+字幕任务上的准确率显著提升38.6%。
• 在'为什么'类问题上，RWMN远超MEMN2N基线模型，表明其在处理抽象、高层级推理方面具有更强能力。
• 定性分析显示，模型的注意力机制常与真实注意力图对齐；在某些情况下，即使注意力偏离真实标注，模型仍能正确回答问题。
• 模型性能对网络深度与滤波器配置敏感，读取与写入网络均在2–3层时达到最优性能。
• 当使用2层写入网络与2层读取网络，滤波器设置分别为(4,2,1)与(4,2,1)时，RWMN在视频+字幕任务上达到37.3%的准确率。