[论文解读] Jointly Modeling Embedding and Translation to Bridge Video and Language

Yingwei Pan, Tao Mei+3 more|arXiv (Cornell University)|May 7, 2015

Multimodal Machine Learning Applications参考文献 33被引用 29

一句话总结

该论文提出LSTM-E，一种统一框架，通过联合学习2D/3D CNN提取视频表征、LSTM生成句子以及视觉-语义嵌入，以实现视频内容与自然语言描述之间的全局语义对齐。通过同时优化局部连贯性（通过LSTM）和全局相关性（通过嵌入空间），LSTM-E在YouTube2Text数据集上达到最先进性能，BLEU@4为45.3%，METEOR为31.0%，在主-动-宾三元组预测方面取得显著提升。

ABSTRACT

Automatically describing video content with natural language is a fundamental challenge of multimedia. Recurrent Neural Networks (RNN), which models sequence dynamics, has attracted increasing attention on visual interpretation. However, most existing approaches generate a word locally with given previous words and the visual content, while the relationship between sentence semantics and visual content is not holistically exploited. As a result, the generated sentences may be contextually correct but the semantics (e.g., subjects, verbs or objects) are not true. This paper presents a novel unified framework, named Long Short-Term Memory with visual-semantic Embedding (LSTM-E), which can simultaneously explore the learning of LSTM and visual-semantic embedding. The former aims to locally maximize the probability of generating the next word given previous words and visual content, while the latter is to create a visual-semantic embedding space for enforcing the relationship between the semantics of the entire sentence and visual content. Our proposed LSTM-E consists of three components: a 2-D and/or 3-D deep convolutional neural networks for learning powerful video representation, a deep RNN for generating sentences, and a joint embedding model for exploring the relationships between visual content and sentence semantics. The experiments on YouTube2Text dataset show that our proposed LSTM-E achieves to-date the best reported performance in generating natural sentences: 45.3% and 31.0% in terms of BLEU@4 and METEOR, respectively. We also demonstrate that LSTM-E is superior in predicting Subject-Verb-Object (SVO) triplets to several state-of-the-art techniques.

研究动机与目标

• 解决现有视频字幕模型仅局部优化词语生成而未强制句子与视频内容之间全局语义对齐的局限性。
• 通过确保句子中的主语、动词和宾语准确反映视频内容，提升生成描述的事实正确性。
• 开发一种统一的深度学习框架，联合优化序列生成（通过LSTM）与视觉-语义嵌入，以实现更好的视频-语言对齐。
• 证明引入全局视觉-语义嵌入空间可同时提升句子生成质量与SVO三元组预测准确率。

提出的方法

• 该框架使用2D和/或3D卷积神经网络（CNN）从视频帧或片段中提取视觉特征，随后通过平均池化生成紧凑的视频表征。
• 长短期记忆网络（LSTM）根据视频表征和先前生成的词语，逐步生成自然语言句子。
• 视觉-语义嵌入模型将视频表征与句子嵌入映射到共享向量空间，以度量并强制语义相关性。
• 通过最小化组合损失进行端到端训练：连贯性损失（标准交叉熵损失，用于词语生成）与相关性损失（度量共享空间中句子与视频之间的嵌入距离）。
• 通过超参数λ控制两种损失之间的权衡，以平衡局部流畅性与全局语义准确性。
• 使用YouTube2Text数据集评估框架，并对主干网络（如VGG、C3D、AlexNet）和LSTM隐藏层大小进行消融研究。

实验结果

研究问题

• RQ1 联合学习视觉-语义嵌入与LSTM是否能超越局部词语预测，提升视频字幕的事实准确性？
• RQ2 引入全局语义对齐损失后，对生成句子质量与SVO三元组预测的影响如何？
• RQ3 在视频字幕任务中，局部连贯性（LSTM损失）与全局相关性（嵌入损失）之间的最优权衡是什么？
• RQ4 不同视频主干网络（2D/3D CNN）与LSTM隐藏层大小对性能的影响如何？

主要发现

• LSTM-E在YouTube2Text数据集上达到最先进性能，BLEU@4为45.3%，METEOR为31.0%，优于先前方法。
• 该模型显著提升了主-动-宾（SVO）三元组预测性能，使用VGG时达到29.5% METEOR，使用C3D时达到29.9%，当结合VGG与C3D时达到31.0%。
• 通过归一化指标的性能曲线显示，平衡连贯性与相关性损失的最优超参数λ约为0.7。
• 将LSTM隐藏层大小从128增加到512可提升性能，512达到最佳结果（BLEU@4为45.3%，METEOR为31.0%）。
• LSTM-E（VGG+C3D）生成的句子比基线模型更准确且更连贯，主语、动词与宾语与视频内容的对齐效果更优。