[论文解读] Less is More: Learning Highlight Detection from Video Duration

Bo Xiong, Yannis Kalantidis+2 more|arXiv (Cornell University)|Mar 3, 2019

Video Analysis and Summarization参考文献 40被引用 5

一句话总结

本文提出了一种无监督视频亮点检测方法，利用视频时长作为隐式监督信号，通过1000万条带标签的Instagram视频训练一个对噪声标签具有鲁棒性的深度排序模型。该方法通过偏好较短视频更可能包含亮点，从而在TVSum和YouTube Highlights基准上实现了最先进性能，显著优于先前的无监督方法。

ABSTRACT

Highlight detection has the potential to significantly ease video browsing, but existing methods often suffer from expensive supervision requirements, where human viewers must manually identify highlights in training videos. We propose a scalable unsupervised solution that exploits video duration as an implicit supervision signal. Our key insight is that video segments from shorter user-generated videos are more likely to be highlights than those from longer videos, since users tend to be more selective about the content when capturing shorter videos. Leveraging this insight, we introduce a novel ranking framework that prefers segments from shorter videos, while properly accounting for the inherent noise in the (unlabeled) training data. We use it to train a highlight detector with 10M hashtagged Instagram videos. In experiments on two challenging public video highlight detection benchmarks, our method substantially improves the state-of-the-art for unsupervised highlight detection.

研究动机与目标

• 通过用免费的隐式信号替代昂贵的人工标注，解决视频亮点检测中的可扩展性与监督瓶颈问题。
• 利用假设：用户在内容筛选时更倾向于选择较短的视频，因此较短的用户生成视频更可能包含亮点。
• 开发一种对来自大规模网络视频集合的弱监督训练数据中的噪声标签具有鲁棒性的深度排序框架。
• 在无法访问人工摘要的情况下，实现在特定领域无监督亮点检测中的最先进性能。
• 验证时长作为跨多样化视频领域亮点相关性代理的有效性。

提出的方法

• 该方法使用视频时长作为弱监督信号：由于用户的内容筛选行为，假设较短的视频更可能包含亮点。
• 提出一种新型深度排序模型，联合学习亮点评分函数与一个潜在变量，以识别有效的训练样本对，从而过滤掉噪声样本对。
• 通过神经网络建模潜在变量，预测视频片段对是否为有效的正负样本对，从而提升对标签噪声的鲁棒性。
• 在1000万条带标签的Instagram视频上端到端训练模型，仅使用视频时长和类别标签作为监督信号。
• 在两个公开基准上评估该框架：TVSum和YouTube Highlights，使用特定领域的查询收集训练数据。
• 采用对比排序损失，鼓励亮点片段的得分高于非亮点片段，同时通过潜在变量实现对噪声的感知训练。

实验结果

研究问题

• RQ1 视频时长能否作为用户生成视频中亮点相关性可靠且可扩展的代理？
• RQ2 如何使深度排序模型在大规模、未经筛选的网络视频集合上训练时，对噪声监督具有鲁棒性？
• RQ3 利用时长作为隐式信号是否能相比现有弱监督或全监督方法，提升无监督亮点检测的性能？
• RQ4 该模型在不同视频领域和数据源（如Instagram与YouTube8M）上的性能表现如何变化？
• RQ5 潜在变量机制在通过过滤噪声训练样本对方面，能在多大程度上提升泛化能力？

主要发现

• 所提方法在YouTube Highlights基准上实现了最先进性能，当在Instagram数据上训练时，平均平均精度（mAP）达到0.564。
• 在TVSum基准上，该方法实现了0.564的mAP，显著优于先前的无监督方法，如RRAE（0.416）和CLA（0.416）。
• 在Instagram数据上训练的模型优于在YouTube8M数据上训练的模型，其在YouTube Highlights上的mAP分别为0.564与0.505，原因在于Instagram视频中时长信号更强。
• 消融实验证实，潜在变量机制提升了性能，完整模型（Ours-S）在YouTube Highlights上的mAP为0.564，而基线模型Ranking-EM的mAP为0.458。
• 可视化结果表明，模型能为有效的亮点-非亮点样本对分配较高的潜在值，而对无效样本对分配较低的潜在值，表明噪声过滤有效。
• 即使在如特技跑酷和狗展等具有挑战性的领域，该方法也取得了优异结果，mAP分别为0.670和0.626，证明了其在多样化内容上的泛化能力。