[论文解读] DeepStory: Video Story QA by Deep Embedded Memory Networks

Kyung-Min Kim, Min-Oh Heo+2 more|arXiv (Cornell University)|Jul 4, 2017

Multimodal Machine Learning Applications参考文献 17被引用 34

一句话总结

DeepStory 通过在潜在嵌入空间中联合建模场景和对话，引入了深度嵌入记忆网络（DEMN），实现了长期记忆存储和基于注意力的检索，用于视频故事问答。该模型在新的 Pororo 动画数据集和 MovieQA 基准测试上均取得了最先进性能，通过端到端学习和注意力机制超越了先前方法。

ABSTRACT

Question-answering (QA) on video contents is a significant challenge for achieving human-level intelligence as it involves both vision and language in real-world settings. Here we demonstrate the possibility of an AI agent performing video story QA by learning from a large amount of cartoon videos. We develop a video-story learning model, i.e. Deep Embedded Memory Networks (DEMN), to reconstruct stories from a joint scene-dialogue video stream using a latent embedding space of observed data. The video stories are stored in a long-term memory component. For a given question, an LSTM-based attention model uses the long-term memory to recall the best question-story-answer triplet by focusing on specific words containing key information. We trained the DEMN on a novel QA dataset of children's cartoon video series, Pororo. The dataset contains 16,066 scene-dialogue pairs of 20.5-hour videos, 27,328 fine-grained sentences for scene description, and 8,913 story-related QA pairs. Our experimental results show that the DEMN outperforms other QA models. This is mainly due to 1) the reconstruction of video stories in a scene-dialogue combined form that utilize the latent embedding and 2) attention. DEMN also achieved state-of-the-art results on the MovieQA benchmark.

研究动机与目标

• 通过从丰富的多模态视频数据中学习，使 AI 代理能够执行视频故事问答任务。
• 解决理解视频内容中长距离时间依赖关系和复杂叙事结构的挑战。
• 开发一种记忆增强架构，利用潜在嵌入有效存储和检索故事信息。
• 通过在统一表示空间中联合建模视觉场景和口语对话，提升问答性能。

提出的方法

• 提出一种深度嵌入记忆网络（DEMN），从视频场景和对话中学习联合潜在嵌入空间。
• 该模型使用编码器将视觉和文本输入嵌入到共享表示空间中。
• 长期记忆组件利用学习到的嵌入重建视频故事。
• 基于 LSTM 的注意力机制通过聚焦问题中的关键词，检索相关的故事片段。
• 网络通过场景-对话对的重建目标和与故事相关的问题-答案对的问答目标进行端到端训练。
• 推理过程中应用注意力机制，动态选择最相关的记忆内容以回答问题。

实验结果

研究问题

• RQ1 统一的记忆网络能否有效从视觉和语言输入的组合中学习并重建视频故事？
• RQ2 在记忆增强网络中，注意力机制在检索问答相关故事信息方面表现如何？
• RQ3 与模态特定方法相比，联合建模场景和对话是否能提升视频故事问答的性能？
• RQ4 所提出的 DEMN 架构在 MovieQA 等基准数据集上的泛化能力如何？

主要发现

• DEMN 模型在 MovieQA 基准测试上取得了最先进性能，表明其在训练数据集之外具有强大的泛化能力。
• 在 Pororo 数据集上，该模型优于现有问答模型，显著性能提升归因于联合场景-对话建模和注意力机制。
• 消融研究证实，潜在嵌入空间和注意力机制对性能提升均至关重要。
• 该模型能有效从场景-对话对中重建视频故事，表明其对时间连贯性和语义一致性的学习能力强大。
• 长期记忆的使用使模型能够在较长的视频序列中保留并检索故事信息。
• 结果验证了视觉和语言信号的联合学习能有效增强对复杂视频叙事的推理能力。