[论文解读] Exploiting long-term temporal dynamics for video captioning

Yuyu Guo, Jingqiu Zhang+1 more|arXiv (Cornell University)|Feb 22, 2022

Multimodal Machine Learning Applications参考文献 57被引用 11

一句话总结

该论文提出TS-LSTM，一种新颖的视频字幕生成框架，通过使用时间池化LSTM（TP-LSTM）捕捉镜头间关系，并利用堆叠LSTM生成句子，从而建模长期时间动态。该方法在MSVD和MSR-VTT数据集上优于当前最先进模型，分别取得54.5%和39.9%的BLEU-4得分，同时通过避免帧级处理降低了计算成本。

ABSTRACT

Automatically describing videos with natural language is a fundamental challenge for computer vision and natural language processing. Recently, progress in this problem has been achieved through two steps: 1) employing 2-D and/or 3-D Convolutional Neural Networks (CNNs) (e.g. VGG, ResNet or C3D) to extract spatial and/or temporal features to encode video contents; and 2) applying Recurrent Neural Networks (RNNs) to generate sentences to describe events in videos. Temporal attention-based model has gained much progress by considering the importance of each video frame. However, for a long video, especially for a video which consists of a set of sub-events, we should discover and leverage the importance of each sub-shot instead of each frame. In this paper, we propose a novel approach, namely temporal and spatial LSTM (TS-LSTM), which systematically exploits spatial and temporal dynamics within video sequences. In TS-LSTM, a temporal pooling LSTM (TP-LSTM) is designed to incorporate both spatial and temporal information to extract long-term temporal dynamics within video sub-shots; and a stacked LSTM is introduced to generate a list of words to describe the video. Experimental results obtained in two public video captioning benchmarks indicate that our TS-LSTM outperforms the state-of-the-art methods.

研究动机与目标

• 为解决现有视频字幕模型在捕捉长程时间结构方面，尤其是镜头间而非单帧之间的局限性。
• 通过时间池化视频片段而非密集处理帧来降低计算成本。
• 通过将空间和时间动态整合到统一的视频表征中，提升字幕质量。
• 比基于帧级注意力机制更有效地建模视频中的长程依赖关系。
• 在标准视频字幕基准上实现最先进性能，同时保持高效推理。

提出的方法

• 提出一种时间池化LSTM（TP-LSTM），聚合短视频镜头的视觉和运动特征，以建模长程时间动态。
• 采用堆叠LSTM架构，从学习到的长期表征中生成自然语言句子。
• 使用预训练的3D CNN（如C3D）进行空间和时间特征提取，编码视频内容后输入TP-LSTM。
• 采用两阶段训练流程：首先训练TP-LSTM以学习长期动态；其次训练堆叠LSTM以生成字幕。
• 通过在子镜头上池化而非逐帧处理，利用连续帧的时间不变性。
• 采用双分支机制，联合建模空间特征和时间动态，提升表征学习效果。

实验结果

研究问题

• RQ1 与基于帧级注意力的方法相比，建模视频子镜头间长程时间动态是否能提升视频字幕生成性能？
• RQ2 对视频片段进行时间池化是否能在保持或提升字幕质量的同时降低计算成本？
• RQ3 一种整合空间和时间动态的统一架构是否能超越依赖帧级注意力的模型？
• RQ4 所提出的TS-LSTM框架在MSVD和MSR-VTT等标准基准上的表现如何？
• RQ5 该模型在复杂视频场景中对物体数量和详细动作描述的捕捉能力如何？

主要发现

• 在MSVD数据集上，TS-LSTM取得54.5%的BLEU-4得分，较次优方法（h-RNN）高出4.6个百分点。
• 在MSVD上，模型取得34.5%的METEOR得分，较基线高出1.9分，表明语义准确性提升。
• 在MSR-VTT数据集上，TS-LSTM取得最高的BLEU-4得分（39.9%）和METEOR得分（27.1%），分别较MFA-LSTM高出0.7和0.5分。
• 模型生成的字幕更详细准确，例如将‘eating’描述为‘eating pasta’，并能正确识别物体数量。
• TS-LSTM通过避免帧级处理降低计算成本，其高效利用子镜头表征而非密集帧采样得以验证。
• 模型对罕见物体泛化能力良好，但在训练数据有限时，偶尔会对‘cheetah’等罕见类别过拟合。