[论文解读] Collaborative Summarization of Topic-Related Videos

Rameswar Panda, Amit K. Roy–Chowdhury|arXiv (Cornell University)|Jun 9, 2017

Video Analysis and Summarization参考文献 55被引用 10

一句话总结

本文提出了一种协作式视频摘要方法，通过利用主题相关视频的视觉上下文来提升摘要质量。采用带有共识正则化的联合 $\ell_{2,1}$-范数稀疏优化方法，该方法识别出既能捕捉视频特异性细节又能体现共享主题级共性的代表性镜头，在 CoSum 和 TVSum50 数据集上优于当前最先进方法。

ABSTRACT

Large collections of videos are grouped into clusters by a topic keyword, such as Eiffel Tower or Surfing, with many important visual concepts repeating across them. Such a topically close set of videos have mutual influence on each other, which could be used to summarize one of them by exploiting information from others in the set. We build on this intuition to develop a novel approach to extract a summary that simultaneously captures both important particularities arising in the given video, as well as, generalities identified from the set of videos. The topic-related videos provide visual context to identify the important parts of the video being summarized. We achieve this by developing a collaborative sparse optimization method which can be efficiently solved by a half-quadratic minimization algorithm. Our work builds upon the idea of collaborative techniques from information retrieval and natural language processing, which typically use the attributes of other similar objects to predict the attribute of a given object. Experiments on two challenging and diverse datasets well demonstrate the efficacy of our approach over state-of-the-art methods.

研究动机与目标

• 解决现有视频摘要方法将视频孤立处理、忽略主题相关视频之间共享视觉上下文的局限性。
• 通过联合建模视频特异性显著内容与相关视频的共同主题级模式，提升摘要质量。
• 开发一种协作稀疏优化框架，以在镜头选择中平衡代表性与多样性。
• 通过具有快速收敛性的半二次最小化算法，实现高效的大规模视频摘要。

提出的方法

• 该方法将视频分割为非均匀镜头，并使用通过平均池化提取的 C3D 特征表示每个镜头。
• 通过采用 $\ell_{2,1}$-范数正则化目标函数，将摘要任务建模为协作稀疏优化问题，以促进稀疏性和组选择。
• 引入共识正则化器，以联合捕捉目标视频的特异性与主题相关视频的共性。
• 通过半二次最小化算法求解优化问题，将非光滑问题分解为两个独立的线性系统，实现高效计算。
• 最终摘要由来自稀疏系数矩阵中重要性得分最高的镜头构建而成。
• 该方法假设主题相关视频可预先获得，可通过聚类或元数据进行潜在异常值的处理与优化。

实验结果

研究问题

• RQ1 利用主题相关视频的视觉上下文是否能提升视频摘要的信息量与紧凑性？
• RQ2 协作优化框架如何在镜头选择中平衡视频特异性显著性与共享主题级共性？
• RQ3 共识正则化器在联合建模个体视频重要性与集体视频重要性方面有何影响？
• RQ4 所提出的半二次最小化算法如何确保大规模视频摘要中的收敛性与可扩展性？
• RQ5 该方法在面向主题的摘要与多视频概念可视化方面，相较于最先进方法的优越程度如何？

主要发现

• 所提出的协作式视频摘要（CVS）方法在 CoSum 和 TVSum50 数据集上的表现均优于当前最先进方法。
• 通过利用主题相关视频之间的共享视觉模式，该方法显著提升了摘要质量，生成更具信息量与多样性的摘要。
• 半二次最小化算法确保目标函数单调递减且快速收敛，使该方法适用于大规模应用场景。
• 共识正则化器的引入，使个体视频显著性与集体主题级共性的联合建模更加有效。
• 实证结果证实，协作方法在自动评估与人工评估指标上均持续优于非协作基线方法。