[论文解读] MovieNet: A Holistic Dataset for Movie Understanding

Qingqiu Huang, Yu Xiong+3 more|arXiv (Cornell University)|Jul 21, 2020

Human Pose and Action Recognition参考文献 82被引用 13

一句话总结

MovieNet 是一个大规模、多模态数据集，包含1,100部电影，涵盖角色、场景、动作、电影风格以及对齐描述的丰富标注。它通过类型分析、角色追踪、场景分割和检索等基准测试，实现了全面的电影理解，揭示了尽管标注信息丰富且整体完整，当前模型仍存在显著差距。

ABSTRACT

Recent years have seen remarkable advances in visual understanding. However, how to understand a story-based long video with artistic styles, e.g. movie, remains challenging. In this paper, we introduce MovieNet -- a holistic dataset for movie understanding. MovieNet contains 1,100 movies with a large amount of multi-modal data, e.g. trailers, photos, plot descriptions, etc. Besides, different aspects of manual annotations are provided in MovieNet, including 1.1M characters with bounding boxes and identities, 42K scene boundaries, 2.5K aligned description sentences, 65K tags of place and action, and 92K tags of cinematic style. To the best of our knowledge, MovieNet is the largest dataset with richest annotations for comprehensive movie understanding. Based on MovieNet, we set up several benchmarks for movie understanding from different angles. Extensive experiments are executed on these benchmarks to show the immeasurable value of MovieNet and the gap of current approaches towards comprehensive movie understanding. We believe that such a holistic dataset would promote the researches on story-based long video understanding and beyond. MovieNet will be published in compliance with regulations at https://movienet.github.io.

研究动机与目标

• 解决现有研究中缺乏大规模、多模态数据集以支持超越孤立任务的整体电影理解问题。
• 为基于故事的长视频提供角色、场景、动作、电影风格及对齐描述等丰富且结构化的标注。
• 建立多维度的基准测试，评估在角色身份、场景边界和电影风格等方面的综合电影理解能力。
• 揭示当前模型在整合多层次语义与视觉线索以实现故事理解方面的局限性。
• 通过统一且可扩展的数据集，推动视频编辑、以人为中心的理解以及基于故事的视频分析研究。

提出的方法

• MovieNet 构建了一个整体性数据集，整合了3,000小时的视频、390万张图片、1,000万条文本句子和700万条元数据条目，涵盖多种模态。
• 提供110万条带有边界框和身份信息的角色实例，42,000个场景边界，65,000个动作/地点标签，12,000条对齐描述句子，以及92,000条电影风格标注。
• 该数据集支持多项基准测试：类型分析、电影风格预测、角色分析、场景理解以及电影片段检索。
• 提出一种基于图的模型，利用注意力机制和多模态嵌入，整合外观、字幕、动作、角色和电影风格特征。
• 特征提取采用ResNet-101提取视觉特征，Word2Vec处理文本特征，TSN特征用于动作识别，以及预训练模型提取检测到的角色的面部/身体特征。
• 采用具有边距α = 0.2的成对排序损失函数进行模型训练，以优化相关片段-段落对之间的相似度。

实验结果

研究问题

• RQ1 当在MovieNet这类统一的、多标注数据集上进行训练时，模型在综合电影理解任务上的表现如何？
• RQ2 整体标注（如角色身份、电影风格和场景边界）对提升故事级视频理解能力有何影响？
• RQ3 当前模型与MovieNet高质量标注所确立的性能上限相比，表现如何？
• RQ4 视觉、文本、动作和电影风格等多模态特征在多大程度上提升了电影片段的检索与理解性能？
• RQ5 电影风格标注的整合是否能增强模型识别重要叙事时刻的能力？

主要发现

• MovieNet 包含1,100部电影，涵盖110万条角色实例、42,000个场景边界、65,000个动作/地点标签、12,000条对齐描述句子以及92,000条电影风格标注，是目前最大且最全面的电影理解数据集。
• 大量实验表明，最先进模型与MovieNet标注所确立的性能上限之间存在显著差距，表明仍有巨大提升空间。
• 电影风格特征的整合提升了模型对关键叙事时刻的关注度，证明其在故事理解中的价值。
• 与单模态基线相比，外观、字幕、动作和角色身份等多模态特征显著提升了检索与理解性能。
• 所提出的基于图的注意力模型在片段检索和角色互动建模任务中表现优异，验证了结构化多层级标注的有效性。
• 该数据集与基准测试已公开发布于 https://movienet.github.io，配套提供完整的工具箱，支持数据爬取、预处理、生成与解析。