[论文解读] Shot Contrastive Self-Supervised Learning for Scene Boundary Detection

Shixing Chen, Xiaohan Nie+4 more|arXiv (Cornell University)|Apr 28, 2021

Video Analysis and Summarization参考文献 10被引用 4

一句话总结

该论文提出 ShotCoL，一种自监督对比学习方法，利用长视频中相邻镜头作为自然增强数据，学习语义一致的镜头表征。通过最大化相邻镜头之间的相似性并最小化与随机镜头的相似性，ShotCoL 在仅使用 25% 标注数据的情况下，在 MovieNet 数据集上实现了场景边界检测的最先进性能，参数量减少 9 倍，推理速度提升 7 倍，同时在新大规模数据集上的广告插入点检测任务中也展现出良好的泛化能力。

ABSTRACT

Scenes play a crucial role in breaking the storyline of movies and TV episodes into semantically cohesive parts. However, given their complex temporal structure, finding scene boundaries can be a challenging task requiring large amounts of labeled training data. To address this challenge, we present a self-supervised shot contrastive learning approach (ShotCoL) to learn a shot representation that maximizes the similarity between nearby shots compared to randomly selected shots. We show how to apply our learned shot representation for the task of scene boundary detection to offer state-of-the-art performance on the MovieNet dataset while requiring only ~25% of the training labels, using 9x fewer model parameters and offering 7x faster runtime. To assess the effectiveness of ShotCoL on novel applications of scene boundary detection, we take on the problem of finding timestamps in movies and TV episodes where video-ads can be inserted while offering a minimally disruptive viewing experience. To this end, we collected a new dataset called AdCuepoints with 3,975 movies and TV episodes, 2.2 million shots and 19,119 minimally disruptive ad cue-point labels. We present a thorough empirical analysis on this dataset demonstrating the effectiveness of ShotCoL for ad cue-points detection.

研究动机与目标

• 为解决长视频中场景边界检测的挑战，该任务需要大量标注数据，且由于复杂的时序结构而难以处理。
• 开发一种自监督表征学习方法，捕捉电影制作中的语义与结构一致性，利用相邻镜头的自然不变性。
• 通过从无标注视频数据中学习强大的镜头表征，减少对昂贵人工标注标签的依赖。
• 评估所学表征在新应用中的泛化能力：在电影和电视剧中识别干扰最小的广告插入点。
• 引入一个新的大规模数据集 AdCuepoints，包含 3,975 个视频、220 万个镜头和 19,119 个手动标注的广告插入点，用于基准测试。

提出的方法

• ShotCoL 基于假设：同一叙事结构中的镜头在语义上相似，将视频中相邻镜头视为彼此的正增强数据。
• 该方法采用对比学习目标，最大化查询镜头与最相似相邻镜头（键）之间的相似性，同时最小化与随机采样镜头的相似性。
• 模型通过对比损失函数端到端训练，以鼓励镜头表征在局部时间上的连贯性。
• 所学的视觉与音频镜头表征通过早期或晚期融合策略进行融合，包括使用 MLP、B-LSTM 和 Linformer 模型进行时序建模。
• 该方法在两个任务上进行评估：使用 MovieNet 的场景边界检测，以及使用新 AdCuepoints 数据集的广告插入点检测。
• 该方法设计高效且可扩展，相比先前的监督模型，参数量显著减少，推理速度更快。

实验结果

研究问题

• RQ1 长视频中相邻镜头能否有效用作自然数据增强，以提升自监督表征学习效果？
• RQ2 基于镜头邻近性的对比学习是否优于标准增强方案，更能捕捉场景级语义结构？
• RQ3 所学的镜头表征能否在少量标注数据下泛化到下游任务，如场景边界检测与广告插入点定位？
• RQ4 ShotCoL 在准确率、模型大小和推理速度方面与监督及自监督基线方法相比表现如何？
• RQ5 该方法能否在仅使用先前方法所需 25% 标注数据的情况下，实现场景边界检测的最先进性能？

主要发现

• ShotCoL 在 MovieNet 数据集上实现场景边界检测的最先进性能，仅使用约 25% 的标注训练数据，远低于先前方法所需量。
• 与先前最先进监督模型相比，该方法将模型参数量减少 9 倍，推理时间缩短 7 倍，同时保持或提升了准确率。
• 在 AdCuepoints 数据集上，微调后的 ShotCoL 特征达到 53.98% AP，优于 ImageNet 和 Kinetics 预训练特征。
• 在无标注 AdCuepoints 数据上训练并在 MovieNet 上测试时，ShotCoL 达到 48.40% AP，展现出强大的跨数据集泛化能力。
• 通过 ShotCoL 学习的音频特征在不同镜头窗口大小下，相比 PANN 预训练特征最高提升 5.89% AP。
• 即使仅使用 1% 的标注数据，ShotCoL 特征仍优于使用完整监督信号的端到端学习，凸显其数据效率。