[论文解读] Memory-augmented Attention Modelling for Videos

Rasool Fakoor, Abdelrahman Mohamed+3 more|arXiv (Cornell University)|Nov 7, 2016

Advanced Neural Network Applications参考文献 20被引用 18

一句话总结

本文提出了一种用于视频字幕生成的内存增强注意力机制，通过存储过去的视觉注意力状态来建模时间依赖性，并提升词级描述生成质量。通过保持基于先前生成词语的已注意视频帧的记忆，该模型在 MSVD 和 Charades 数据集上实现了最先进性能，且无需依赖外部时间特征，其 BLEU-4 和 METEOR 分数优于先前方法。

ABSTRACT

We present a method to improve video description generation by modeling higher-order interactions between video frames and described concepts. By storing past visual attention in the video associated to previously generated words, the system is able to decide what to look at and describe in light of what it has already looked at and described. This enables not only more effective local attention, but tractable consideration of the video sequence while generating each word. Evaluation on the challenging and popular MSVD and Charades datasets demonstrates that the proposed architecture outperforms previous video description approaches without requiring external temporal video features.

研究动机与目标

• 为解决视频字幕生成中长程时间依赖性建模的挑战，其中动作跨越多个帧，且并非所有帧都同等重要。
• 通过使模型在生成每个词时能够推理过去注意力状态，从而改善视频描述生成。
• 开发一种基于记忆的注意力机制，在序列到序列框架中联合建模视觉和语言序列。
• 在无需外部时间特征（如光流或 C3D）的情况下，证明在标准基准测试上的最先进性能。
• 提供一种可泛化的架构，适用于其他涉及视觉-语言对齐的序列到序列任务。

提出的方法

• 该模型采用基于内存增强的循环编码器-解码器框架，并引入时间编码模块（TEM）来处理视频帧并提取帧级特征。
• 视觉记忆模块（VMM）存储视频帧的编码表示，其更新基于对先前帧的注意力以及已生成的词语。
• 图像注意力模块（IAM）利用当前隐藏状态和过去注意力状态的记忆，对视频帧计算注意力。
• 注意力机制在每个词生成步骤动态选择相关帧，使解码过程能够考虑完整的视频序列。
• 模型通过语言生成的交叉熵损失进行端到端训练，并通过时间反向传播进行优化。
• 记忆组件显式存储和检索过去的注意力模式，使模型能够追踪帧间视觉概念的演变。

实验结果

研究问题

• RQ1 内存增强注意力机制是否能通过使模型在生成词时推理过去注意力状态，从而改善视频字幕生成？
• RQ2 与无需外部时间特征的最先进模型相比，该方法在 MSVD 和 Charades 等基准数据集上的表现如何？
• RQ3 记忆组件在多大程度上增强了模型捕捉视频序列中长程时间依赖性的能力？
• RQ4 与仅使用注意力或非记忆基模型相比，该模型在流畅性和语义准确性（如 METEOR、BLEU）方面是否表现更优？
• RQ5 该模型能否泛化到其他涉及视觉-语言对齐的序列到序列任务？

主要发现

• 所提模型在 MSVD 数据集上实现了最先进性能，无需使用外部时间特征，其 BLEU-4 和 METEOR 分数均优于先前方法。
• 在 Charades 数据集上，该模型相对于 Venugopalan 等人（2015a）的基线模型实现了 10% 的相对性能提升，表明其在具有挑战性的、每视频字幕数量较少的基准上具有强大泛化能力。
• 在 MSVD 上，该模型的 METEOR 得分为 22.8，BLEU-4 为 32.1，超越了大多数先前方法，包括使用光流或 C3D 特征的方法。
• 消融研究证实，图像注意力模块（IAM）和记忆组件对性能有显著贡献，其中记忆机制显著提升了长程推理能力。
• 尽管性能优异，该模型偶尔会因过度关注显著但不相关的物体（例如，聚焦于秋千上的男人而非狗）而生成错误描述，表明在帧选择方面仍有改进空间。
• 结果表明，内存增强注意力机制能有效关联视觉与语言表征，实现连贯且上下文感知的字幕生成。