[论文解读] From Trailers to Storylines: An Efficient Way to Learn from Movies

Qingqiu Huang, Yuanjun Xiong+3 more|arXiv (Cornell University)|Jun 14, 2018

Video Analysis and Summarization参考文献 18被引用 19

一句话总结

本文提出了一种两阶段框架，从电影预告片中学习视觉特征，从完整电影中学习时间结构，利用元数据和自监督学习以降低训练成本。在大规模数据集上的实验表明，与传统方法相比，该方法在显著减少训练时间的同时实现了更优的性能。

ABSTRACT

The millions of movies produced in the human history are valuable resources for computer vision research. However, learning a vision model from movie data would meet with serious difficulties. A major obstacle is the computational cost -- the length of a movie is often over one hour, which is substantially longer than the short video clips that previous study mostly focuses on. In this paper, we explore an alternative approach to learning vision models from movies. Specifically, we consider a framework comprised of a visual module and a temporal analysis module. Unlike conventional learning methods, the proposed approach learns these modules from different sets of data -- the former from trailers while the latter from movies. This allows distinctive visual features to be learned within a reasonable budget while still preserving long-term temporal structures across an entire movie. We construct a large-scale dataset for this study and define a series of tasks on top. Experiments on this dataset showed that the proposed method can substantially reduce the training time while obtaining highly effective features and coherent temporal structures.

研究动机与目标

• 解决在长时长电影数据上训练视觉模型所面临的高计算成本和标注负担问题。
• 探索一种替代性训练范式，将视觉特征学习与时间结构学习解耦。
• 构建一个大规模数据集（LSMTD），包含508部电影和34,219个预告片，以支持电影理解研究。
• 定义并基准化任务，如镜头预测和语义标记，以评估模型性能。
• 证明在预告片上训练视觉模型，同时在完整电影上学习时间动态，可获得高效且有效的模型。

提出的方法

• 该框架将视觉特征学习（来自预告片）与时间建模（来自完整电影）分离，从而降低计算负载。
• 利用类型、剧情关键词等元数据作为弱监督，训练视觉特征。
• 时间建模采用自监督目标：在给定其余镜头的情况下，预测序列中缺失的镜头。
• 采用两阶段训练流程：首先在预告片上训练视觉编码器，然后使用提取的特征在完整电影上微调时间网络。
• 该方法利用了视觉模型比时间模型更重的事实，使得基于预告片的预训练在计算上是可行的。
• 构建了一个大规模数据集（LSMTD），包含超过2,200小时的视频，包括508部完整电影和34,219个预告片，支持基准测试。

实验结果

研究问题

• RQ1 从预告片中学习到的视觉表征能否有效捕捉与在完整电影上训练的表征相当的语义内容？
• RQ2 在完整电影上训练的自监督时间模型能否从视觉特征中重建出连贯的故事情节？
• RQ3 将基于预告片的视觉学习与基于电影的时间学习相结合，是否优于在完整电影上端到端训练？
• RQ4 训练预告片的数量规模如何影响视觉表征的质量和下游任务性能？
• RQ5 所提出的框架能否在大幅减少训练时间的前提下，实现在电影理解任务上的高性能？

主要发现

• 在33,000个预告片上训练的模型在'跨电影'设置下的镜头预测准确率达到82.5%，优于基线模型。
• 基于预告片训练的视觉模型（如'trailer 33K'）在《泰坦尼克号》的定性分析中，产生的语义响应比在完整电影上训练的模型更准确。
• 随着训练预告片数量的增加，性能持续提升，在33,000个预告片下，'跨电影'镜头预测的准确率达到82.5%。
• 自监督时间模型显著优于简单的特征平均基线，证明其有效捕捉了长期时间结构。
• 在预告片上训练显著降低了计算成本，同时在标记和镜头预测任务上保持或提升了性能。
• 该框架在电影问答和镜头预测基准上达到了最先进水平，验证了其高效性和有效性。