[论文解读] Encoder-Decoder Based Long Short-Term Memory (LSTM) Model for Video Captioning

Sikiru Adewale, Tosin Ige+1 more|arXiv (Cornell University)|Oct 2, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出一种编码器-解码器LSTM模型用于视频字幕生成，采用多对多学习方法将视频帧的时间序列映射为自然语言字幕。该模型在多样化视频动作与场景中表现出稳健的泛化能力，通过2-gram BLEU分数进行性能评估，即使在显著的场景变化下也能有效生成字幕。

ABSTRACT

This work demonstrates the implementation and use of an encoder-decoder model to perform a many-to-many mapping of video data to text captions. The many-to-many mapping occurs via an input temporal sequence of video frames to an output sequence of words to form a caption sentence. Data preprocessing, model construction, and model training are discussed. Caption correctness is evaluated using 2-gram BLEU scores across the different splits of the dataset. Specific examples of output captions were shown to demonstrate model generality over the video temporal dimension. Predicted captions were shown to generalize over video action, even in instances where the video scene changed dramatically. Model architecture changes are discussed to improve sentence grammar and correctness.

研究动机与目标

• 开发一种深度学习模型，能够从视频序列生成准确的文本描述。
• 解决将可变长度视频输入映射到相应自然语言字幕的挑战。
• 使用标准NLP指标（如2-gram BLEU分数）评估模型性能。
• 分析模型在多样化视频动作和场景转换中的泛化能力。
• 探索架构改进，以提升生成字幕的语法正确性和流畅性。

提出的方法

• 采用编码器-解码器架构，其中编码器使用双向LSTM堆叠处理视频帧序列。
• 解码器使用自回归方式通过单向LSTM与注意力机制生成单词序列。
• 在输入LSTM编码器前，使用预训练CNN（如ResNet）从帧中提取视频特征。
• 训练过程中使用教师强制（teacher forcing）以稳定学习并提升序列生成质量。
• 注意力机制用于对齐输出字幕序列中特定词语与相关视觉特征。
• 通过调整解码器隐藏状态和输出层，对模型架构进行微调，以提升语法正确性。

实验结果

研究问题

• RQ1 编码器-解码器LSTM模型能否有效学习从视频帧序列到描述性字幕的映射？
• RQ2 该模型在不同视频动作和场景转换中的泛化能力如何？
• RQ3 解码器架构的改进在多大程度上提升了生成字幕的语法质量和流畅性？
• RQ4 2-gram BLEU分数与生成字幕的感知质量之间有何相关性？
• RQ5 该模型在未见过的视频数据上的表现如何，特别是在场景突变的情况下？

主要发现

• 该模型在多样化视频内容（包括视觉变化显著的场景）中成功生成连贯且上下文相关的字幕。
• 2-gram BLEU分数被用作评估数据集划分中字幕正确性的主要指标。
• 具体示例表明，该模型在视频的时间维度上泛化良好，能在动作转换过程中保持相关性。
• 对解码器的架构改进提升了句子的语法正确性和流畅性，表明解码器设计在字幕质量中的重要性。
• 即使在视频场景发生剧烈变化时，该模型仍表现出强大的鲁棒性，能生成准确的描述。
• 编码器-解码器LSTM框架在视频字幕任务中证明了其在多对多视频到文本序列映射中的有效性。