[论文解读] A Local-to-Global Approach to Multi-modal Movie Scene Segmentation

Anyi Rao, Linning Xu+5 more|arXiv (Cornell University)|Apr 6, 2020

Human Pose and Action Recognition参考文献 30被引用 7

一句话总结

本文提出了一种用于多模态电影场景分割的端到端局部到全局框架，通过在剪辑、片段和电影三个层级上整合视觉、音频、演员和场景位置特征，提升场景边界检测性能。该方法在新构建的MovieScenes数据集上实现了47.1%的平均精度，相较之前最佳方法（28.1% AP）提升了68%的相对性能，通过利用分层语义信息与全局优化策略实现，且在该数据集上进行预训练显著提升了下游任务的性能。

ABSTRACT

Scene, as the crucial unit of storytelling in movies, contains complex activities of actors and their interactions in a physical environment. Identifying the composition of scenes serves as a critical step towards semantic understanding of movies. This is very challenging -- compared to the videos studied in conventional vision problems, e.g. action recognition, as scenes in movies usually contain much richer temporal structures and more complex semantic information. Towards this goal, we scale up the scene segmentation task by building a large-scale video dataset MovieScenes, which contains 21K annotated scene segments from 150 movies. We further propose a local-to-global scene segmentation framework, which integrates multi-modal information across three levels, i.e. clip, segment, and movie. This framework is able to distill complex semantics from hierarchical temporal structures over a long movie, providing top-down guidance for scene segmentation. Our experiments show that the proposed network is able to segment a movie into scenes with high accuracy, consistently outperforming previous methods. We also found that pretraining on our MovieScenes can bring significant improvements to the existing approaches.

研究动机与目标

• 为解决电影场景分割的挑战，该任务需要超越视觉线索的语义理解，因其具有复杂的时序与叙事结构。
• 开发一种可扩展的框架，整合多模态信号（视觉、音频、演员、场景位置）在剪辑、片段和电影三个层级上的信息。
• 通过结合局部预测与全局优化，提升场景边界检测性能，以纠正由视觉变化引发的虚假过渡。
• 通过构建MovieScenes数据集，建立大规模基准，该数据集包含来自150部电影的21,000个标注场景。
• 证明在MovieScenes上进行预训练可显著提升现有场景分割基准上的性能表现。

提出的方法

• 该框架在剪辑层级提取多模态表征，利用来自视频、音频、演员信息和场景位置的特征。
• 通过在剪辑、片段和电影三个层级上使用可学习注意力机制融合多模态嵌入，实现局部场景边界预测。
• 通过求解一个分组问题，利用全局优化步骤对预测结果进行精细化处理，以最小化场景边界错误并保持语义一致性。
• 优化过程采用动态规划算法，结合可学习的代价函数，对不一致的过渡进行惩罚，并偏好语义一致的分组。
• 采用迭代优化策略，以超剪辑（super-shots）作为初始分组，通过调整初始超剪辑数量与迭代次数，在准确率与收敛速度之间取得平衡。
• 该框架通过在场景边界上使用交叉熵损失进行端到端训练，且在MovieScenes上进行预训练可显著提升零样本与迁移学习性能。

实验结果

研究问题

• RQ1 如何有效融合多模态信号（视觉、音频、演员、场景位置）以超越视觉线索提升场景分割性能？
• RQ2 自上而下的全局电影级上下文在多大程度上能改善局部场景边界预测？
• RQ3 大规模人工标注的电影场景数据集是否能显著提升场景分割模型的泛化能力？
• RQ4 与仅依赖局部信息的方法相比，整合分层时间与语义结构（剪辑、片段、电影）在性能上有哪些提升？
• RQ5 在所提出的MovieScenes数据集上进行预训练，对现有基准的迁移学习性能有何影响？

主要发现

• 所提出的局部到全局框架在MovieScenes数据集上实现了47.1%的平均精度，相较之前最佳方法（28.1% AP）提升了68%的相对性能。
• 在MovieScenes上进行预训练显著提升了在现有基准上的性能：OVSD数据集上达到85.7% AP，BBC数据集上达到90.2% AP，展现出强大的泛化能力。
• 全局优化有效减少了因视觉突变（如镜头类型切换）引发的误报，通过平滑处理虚假的场景切分。
• 多模态线索具有互补性：在视觉清晰度较低的场景中（如远景或部分视角），音频与演员特征尤为有效。
• 最优设置采用600个初始超剪辑，并在5次迭代内收敛，实现了准确率与效率的平衡。
• 定性分析结果表明，即使视觉特征差异显著，模型仍能正确将语义一致的镜头分组，证明其具备稳健的语义理解能力。