[论文解读] A Dataset for Movie Description

Anna Rohrbach, Marcus Rohrbach+2 more|arXiv (Cornell University)|Jan 12, 2015

Multimodal Machine Learning Applications参考文献 61被引用 52

一句话总结

本文提出一个大规模、时间对齐的视频-句子配对数据集，包含来自72部全高清电影的54,000多个句子-视频对，结合了描述性视频服务（DVS）字幕与电影剧本。结果表明，DVS提供的描述比剧本更具准确性与视觉关联性，通过语义解析与视觉特征融合，可显著提升视频描述模型的性能。基于SMT的方法优于最近邻基线模型，在开放域视频描述任务中表现优异。

ABSTRACT

Descriptive video service (DVS) provides linguistic descriptions of movies and allows visually impaired people to follow a movie along with their peers. Such descriptions are by design mainly visual and thus naturally form an interesting data source for computer vision and computational linguistics. In this work we propose a novel dataset which contains transcribed DVS, which is temporally aligned to full length HD movies. In addition we also collected the aligned movie scripts which have been used in prior work and compare the two different sources of descriptions. In total the Movie Description dataset contains a parallel corpus of over 54,000 sentences and video snippets from 72 HD movies. We characterize the dataset by benchmarking different approaches for generating video descriptions. Comparing DVS to scripts, we find that DVS is far more visual and describes precisely what is shown rather than what should happen according to the scripts created prior to movie production.

研究动机与目标

• 创建一个大规模、时间对齐的DVS视频描述数据集，用于视障人士的视觉辅助访问。
• 比较DVS字幕与电影剧本作为视频描述来源时的视觉准确性与相关性。
• 利用语义解析与视觉特征，在此新数据集上评估最先进视频描述模型的性能。
• 证明DVS提供的描述比前期制作剧本更精确、更具视觉关联性。
• 推动在开放域视频描述中对长期语义依赖与情节理解的研究。

提出的方法

• 通过众包转录方式，从蓝光光盘中提取DVS音频，并将其与全高清电影片段进行时间对齐。
• 收集并对齐先前研究中的电影剧本，构建与DVS并行的语料库。
• 应用语义解析器从DVS与剧本中提取主-动-宾-位置三元组，按最低频次（30或100次）进行过滤。
• 采用统计机器翻译（SMT）框架，基于视觉特征与解析标签生成描述。
• 将视觉特征（DT、LSDA、PLACES、HYBRID）与基于CRF的序列建模相结合，预测句子输出。
• 通过人工标注对250个测试片段进行模型评估，按正确性、语法与相关性对输出进行排序。

实验结果

研究问题

• RQ1 DVS描述在视觉关联性方面与电影剧本相比，其准确性与对视频内容的相关性如何？
• RQ2 对DVS与剧本文本进行语义解析，是否能提升视频描述模型的性能，相较于直接的视觉特征匹配？
• RQ3 不同视觉特征（如LSDA、PLACES、HYBRID）在此数据集上对视频描述质量的相对贡献如何？
• RQ4 基于SMT的方法使用解析标签，与最近邻基线模型及视觉词模型相比，在生成视频描述方面表现如何？
• RQ5 该数据集在多大程度上支持对开放域视频描述中长期语义依赖与叙事结构的建模？

主要发现

• DVS描述显著优于电影剧本，后者常包含前期制作中的不准确信息或无关细节，DVS在准确性和视觉关联性方面表现更优。
• 在最近邻基线模型中，HYBRID视觉特征组合表现最佳，优于DT、LSDA与PLACES。
• 基于SMT的方法使用语义解析器生成的文本标签，优于最近邻基线模型与视觉词模型，且30次频次阈值的性能优于100次阈值。
• 使用词义消歧（WSD）生成的语义标签表现略差于直接文本标签，可能因WSD错误所致。
• 语料库中实际的DVS与剧本句子在自动方法中表现显著更优，证实其作为强基线的重要价值。
• 该数据集支持叙事结构与长期依赖关系的建模，为现有图像与视频描述数据集之外的研究提供了新机遇。