[论文解读] Memory-Attended Recurrent Network for Video Captioning

Wenjie Pei, Jiyuan Zhang+4 more|arXiv (Cornell University)|May 10, 2019

Multimodal Machine Learning Applications参考文献 61被引用 16

一句话总结

本文提出用于视频字幕的内存注意循环网络（MARN），通过记忆模块在多个训练视频中存储并关注词语的全谱视觉-语义上下文，从而提升字幕质量。该方法增强了词级理解并显式建模词语兼容性，在MSR-VTT和MSVD数据集上达到最先进性能，CIDEr得分最高提升1.4分。

ABSTRACT

Typical techniques for video captioning follow the encoder-decoder framework, which can only focus on one source video being processed. A potential disadvantage of such design is that it cannot capture the multiple visual context information of a word appearing in more than one relevant videos in training data. To tackle this limitation, we propose the Memory-Attended Recurrent Network (MARN) for video captioning, in which a memory structure is designed to explore the full-spectrum correspondence between a word and its various similar visual contexts across videos in training data. Thus, our model is able to achieve a more comprehensive understanding for each word and yield higher captioning quality. Furthermore, the built memory structure enables our method to model the compatibility between adjacent words explicitly instead of asking the model to learn implicitly, as most existing models do. Extensive validation on two real-word datasets demonstrates that our MARN consistently outperforms state-of-the-art methods.

研究动机与目标

• 为解决标准编码器-解码器模型在视频字幕生成中的局限性，即解码时仅关注单个视频，无法捕捉每个词语的多样化视觉上下文。
• 通过使模型能够访问并关注整个训练数据中与某一词语相关的多个相似视觉上下文，提升词级理解能力。
• 在解码过程中显式建模相邻词语之间的兼容性，而非依赖循环网络的隐式学习。
• 通过引入记忆增强解码器，存储并检索词汇表中每个词语的描述性信息，从而提升字幕质量。
• 在真实世界视频字幕基准上，展示相对于最先进方法的一致性能提升。

提出的方法

• 模型以基于注意力的循环解码器作为基础解码器，遵循标准编码器-解码器框架，使用CNN和RNN进行特征提取与字幕生成。
• 引入记忆结构，用于存储词汇表中每个词语的描述性信息，捕捉其与多个训练视频中各类视觉上下文的全谱对应关系。
• 在解码过程中动态关注记忆模块，使模型能够检索与当前预测相关的视觉-语义模式，提升词语预测准确性。
• 通过利用存储的词语表征及其上下文关系，记忆增强解码器显式建模相邻词语之间的兼容性。
• 在编码阶段整合2D与3D视觉特征，以丰富输入表示，提升特征学习效果。
• 在解码器内部及记忆模块之间均应用注意力机制，以引导模型聚焦于相关视觉与语义内容。

实验结果

研究问题

• RQ1 能否通过一个记忆机制，捕捉词语在多个视频中的多样化视觉上下文，从而提升视频字幕质量？
• RQ2 与标准RNN中的隐式学习相比，显式建模相邻词语之间的兼容性是否能生成更连贯、更准确的字幕？
• RQ3 将记忆增强解码器与注意力机制结合，能否在标准视频字幕基准上提升性能？
• RQ4 在自动指标与人工评估方面，所提出的MARN模型与最先进方法相比表现如何？
• RQ5 记忆结构在多大程度上增强了词级理解，特别是对于常见动作如“倒出”（'pouring'）？

主要发现

• 在MSR-VTT数据集上，MARN取得47.1的CIDEr分数，优于基线解码器（45.7），并超越所有其他最先进模型。
• 在MSVD数据集上，MARN取得92.2的CIDEr分数，显著优于基线解码器（89.9）及其他领先方法。
• 人工评估显示，MARN在43.3%的测试样本中生成了更优字幕，而基线解码器仅在33.3%的样本中表现更优。
• MARN在MSR-VTT和MSVD数据集上，所有四项标准指标（BLEU-4、METEOR、ROUGE-L、CIDEr）均实现一致提升。
• 性能提升主要归因于记忆模块捕捉全谱视觉-语义对应关系的能力，以及显式建模词语兼容性。
• 基线解码器本身已具备强大性能（MSVD上CIDEr为89.9），表明记忆增强设计带来了显著且可量化的性能提升。