[论文解读] Movie Description

Anna Rohrbach, Atousa Torabi+6 more|arXiv (Cornell University)|May 12, 2016

Subtitles and Audiovisual Media被引用 5

一句话总结

本文介绍了大规模电影描述挑战（LSMDC），这是一个包含118,114个时间对齐的视频片段及其描述的大型数据集，来自202部电影，结合了视障人士的音频描述（ADs）和电影剧本。结果表明，ADs在视觉准确性和相关性方面优于剧本，且在人类评估中，帧-视频-概念融合（Frame-Video-Concept Fusion）方法在正确性、语法和相关性方面表现最佳，实现了描述质量的最佳平衡。

ABSTRACT

Audio Description (AD) provides linguistic descriptions of movies and allows visually impaired people to follow a movie along with their peers. Such descriptions are by design mainly visual and thus naturally form an interesting data source for computer vision and computational linguistics. In this work we propose a novel dataset which contains transcribed ADs, which are temporally aligned to full length movies. In addition we also collected and aligned movie scripts used in prior work and compare the two sources of descriptions. In total the Large Scale Movie Description Challenge (LSMDC) contains a parallel corpus of 118,114 sentences and video clips from 202 movies. First we characterize the dataset by benchmarking different approaches for generating video descriptions. Comparing ADs to scripts, we find that ADs are indeed more visual and describe precisely what is shown rather than what should happen according to the scripts created prior to movie production. Furthermore, we present and compare the results of several teams who participated in a challenge organized in the context of the workshop "Describing and Understanding Video & The Large Scale Movie Description Challenge (LSMDC)", at ICCV 2015.

研究动机与目标

• 创建一个大规模、时间对齐的电影描述数据集，用于视觉与语言分析。
• 比较视障人士的音频描述（ADs）与传统电影剧本作为视频描述来源的视觉准确性。
• 使用自动与人工评估指标，对自动视频描述模型进行评估与基准测试。
• 理解不同深度学习架构在生成准确、语法正确且相关视频描述方面的优缺点。

提出的方法

• 提出一种新型数据集LSMDC，包含来自202部完整电影的118,114对句子-视频片段。
• 收集并时间对齐音频描述（ADs）与电影剧本，以支持两者在视觉保真度方面的对比分析。
• 开发一种名为Visual-Labels的模型，通过使用可靠的视觉分数作为输入，对动词、物体和地点分别训练分类器，并利用LSTM生成句子。
• 采用帧级视频特征、时间注意力机制以及视频-概念融合，以提升描述的准确性和连贯性。
• 结合自动指标（如BLEU、ROUGE）与人工评估，对模型输出在正确性、语法、相关性及对视障用户帮助性方面进行排名。
• 在ICCV 2015上组织一项挑战赛，使用该数据集与评估协议，对12种不同方法进行基准测试。

实验结果

研究问题

• RQ1 与传统电影剧本相比，视障人士的音频描述（ADs）在视觉准确性与视频内容相关性方面如何？
• RQ2 在人工评估下，哪种深度学习架构能生成最准确、语法正确且相关的视频描述？
• RQ3 在仅使用弱标注视频片段（以句子级描述为监督）进行训练的模型，能否良好泛化到训练期间未见过的长尾视觉概念？
• RQ4 自动评估指标与人工判断的相关性如何，特别是在评估对视觉障碍用户帮助性方面？
• RQ5 模型架构（如S2VT、Visual-Labels或Frame-Video-Concept Fusion）对描述质量与错误模式有何影响？

主要发现

• 音频描述（ADs）在视觉准确性与相关性方面显著优于电影剧本，后者常包含场景中不可见的叙事或计划性动作。
• 帧-视频-概念融合（Frame-Video-Concept Fusion）在人类评估中于正确性、语法与相关性方面得分最高，尽管其生成的句子更短、更简单。
• S2VT与Visual-Labels生成的句子更长、更丰富多样，但错误率更高，导致因内容与语法错误而人类评分较低。
• 人类判断在不同评估维度上存在显著差异：在‘对视障用户帮助性’方面得分高的模型，未必在语法正确性或相关性方面排名最高。
• 所有模型在长尾视觉概念上均表现不佳，表明即使使用大规模训练数据，新颖或罕见的视觉元素仍是持续存在的挑战。
• LSMDC数据集为开放域设置下的视频-句子嵌入、故事理解与多句视频理解等新研究提供了支持。