[论文解读] MINI-Net: Multiple Instance Ranking Network for Video Highlight Detection

Fa-Ting Hong, Xuanteng Huang+2 more|arXiv (Cornell University)|Jul 20, 2020

Video Analysis and Summarization参考文献 38被引用 5

一句话总结

本文提出 MINI-Net，一种用于弱监督视频亮点检测的多实例排序网络，其中将视频视为片段的集合（bag），模型通过最大-最大排序损失学习将目标事件的亮点片段排在非亮点片段之前。该方法在三个基准数据集上达到最先进性能，在 CoSum 数据集上的 F1 分数达到 0.9278，展现出卓越的定位精度，且无需人工标注亮点片段。

ABSTRACT

We address the weakly supervised video highlight detection problem for learning to detect segments that are more attractive in training videos given their video event label but without expensive supervision of manually annotating highlight segments. While manually averting localizing highlight segments, weakly supervised modeling is challenging, as a video in our daily life could contain highlight segments with multiple event types, e.g., skiing and surfing. In this work, we propose casting weakly supervised video highlight detection modeling for a given specific event as a multiple instance ranking network (MINI-Net) learning. We consider each video as a bag of segments, and therefore, the proposed MINI-Net learns to enforce a higher highlight score for a positive bag that contains highlight segments of a specific event than those for negative bags that are irrelevant. In particular, we form a max-max ranking loss to acquire a reliable relative comparison between the most likely positive segment instance and the hardest negative segment instance. With this max-max ranking loss, our MINI-Net effectively leverages all segment information to acquire a more distinct video feature representation for localizing the highlight segments of a specific event in a video. The extensive experimental results on three challenging public benchmarks clearly validate the efficacy of our multiple instance ranking approach for solving the problem.

研究动机与目标

• 为解决在缺乏昂贵的人工标注亮点片段的情况下进行视频亮点检测的挑战。
• 实现在包含多个事件的视频中定位特定事件的亮点，且仅依赖视频级别标签。
• 通过袋级别建模方法利用所有片段信息，提升特征表示能力。
• 开发一种稳健的排序机制，能够将最可能为正样本的片段与最难的负样本区分开。
• 在弱监督设置下，于标准基准上验证所提方法的有效性。

提出的方法

• 每段视频被建模为固定长度片段的集合（bag），若视频包含目标事件的亮点则标记为正样本，否则为负样本。
• 引入袋分类模块，通过建模袋级别的相关性，提升对真实亮点片段的选择能力。
• 提出最大-最大排序损失（MM-RL），以最大化每个袋中最具可能的正样本片段与最难负样本片段之间的得分差异。
• 通过晚期交互方式融合视觉与音频特征，特征在输入排序网络前经全连接层处理。
• 通过组合袋分类与最大-最大排序目标，端到端训练网络，以优化亮点得分的判别能力。
• 在三个公开基准数据集（YouTube Highlights、TVSum 和 CoSum）上评估该架构，采用标准的 F1 分数与平均精度指标。

实验结果

研究问题

• RQ1 当仅提供视频级别标签时，多实例学习框架能否有效定位特定事件的亮点？
• RQ2 与标准排序损失相比，最大-最大排序损失如何提升亮点定位性能？
• RQ3 视觉与音频特征对亮点检测模型性能的贡献如何？
• RQ4 袋级别建模是否增强了模型识别真实亮点片段的能力？
• RQ5 所提出的 MINI-Net 在标准基准上相较于现有弱监督与监督方法表现如何？

主要发现

• MINI-Net 在 CoSum 数据集上取得 0.9278 的 F1 分数，显著优于先前方法，创下新的最先进结果。
• 消融实验表明，若移除最大-最大排序损失，CoSum 上的 F1 分数将降至 0.7759，表明其在提升得分判别能力方面具有关键作用。
• 袋分类模块使 TVSum 上的 F1 分数从 65.58% 提升至 73.24%，证明其在选择相关亮点片段方面的有效性。
• 仅使用视觉特征时，在 CoSum 上的 F1 分数为 0.7823，优于仅使用音频特征时的 0.8605，但结合双模态的完整模型达到最高性能。
• 即使不使用音频特征（YouTube 上 F1 为 0.6138），模型仍优于许多先前方法，表明视觉表征学习具有强鲁棒性。
• 消融结果证实，结合音频与视觉特征可获得最佳性能，完整模型在 YouTube Highlights 上达到 0.6436 的 F1 分数。