[论文解读] How Good is a Video Summary? A New Benchmarking Dataset and Evaluation Framework Towards Realistic Video Summarization

Vishal Kaushal, Suraj Kothawade+3 more|arXiv (Cornell University)|Jan 26, 2021

Video Analysis and Summarization参考文献 44被引用 5

一句话总结

本文提出 VISIOCITY，一个大规模、多样化的基准数据集，包含67段长视频，涵盖六个类别，并带有密集的概念标注，支持更真实的视频摘要研究。该研究提出一种自动方法，从间接真实标签生成多个参考摘要，并构建了一个多指标评估框架，以捕捉摘要质量的多样性。实验表明，使用组合损失函数在单个参考摘要上进行训练，优于单一参考摘要的训练方式，在最先进模型上表现更优。

ABSTRACT

Automatic video summarization is still an unsolved problem due to several challenges. The currently available datasets either have very short videos or have few long videos of only a particular type. We introduce a new benchmarking video dataset called VISIOCITY (VIdeo SummarIzatiOn based on Continuity, Intent and DiversiTY) which comprises of longer videos across six different categories with dense concept annotations capable of supporting different flavors of video summarization and other vision problems. For long videos, human reference summaries necessary for supervised video summarization techniques are difficult to obtain. We explore strategies to automatically generate multiple reference summaries from indirect ground truth present in VISIOCITY. We show that these summaries are at par with human summaries. We also present a study of different desired characteristics of a good summary and demonstrate how it is normal to have two good summaries with different characteristics. Thus we argue that evaluating a summary against one or more human summaries and using a single measure has its shortcomings. We propose an evaluation framework for better quantitative assessment of summary quality which is closer to human judgment. Lastly, we present insights into how a model can be enhanced to yield better summaries. Sepcifically, when multiple diverse ground truth summaries can exist, learning from them individually and using a combination of loss functions measuring different characteristics is better than learning from a single combined (oracle) ground truth summary using a single loss function. We demonstrate the effectiveness of doing so as compared to some of the representative state of the art techniques tested on VISIOCITY. We release VISIOCITY as a benchmarking dataset and invite researchers to test the effectiveness of their video summarization algorithms on VISIOCITY.

研究动机与目标

• 为解决现有视频摘要研究中缺乏大规模、多样化、长视频数据集的问题。
• 通过提出一种自动方法，从间接真实标签（如概念标注、事件边界）生成多个高质量参考摘要，以应对长视频人工参考摘要获取困难的挑战。
• 开发一个多指标评估框架，通过捕捉优质摘要的多样化特征（如重要性、多样性、连贯性等），更真实地反映人类判断，而非依赖单一指标。
• 证明在多个多样化参考摘要上，结合多种损失函数进行训练，可显著提升模型性能，优于单一参考摘要的训练方式。
• 将 VISIOCITY 公开发布，以推动视频摘要技术的前沿发展。

提出的方法

• 提出 VISIOCITY，一个全新的基准数据集，包含67段长视频，覆盖六个类别（如：Soccer、Surveillance、Friends、Wedding、Birthday、TechTalk），并带有密集的概念级标注。
• 设计一种策略，利用间接真实标签（如概念标注、事件边界）自动生成多个参考摘要，以模拟人类生成的摘要。
• 开发一个包含四项关键指标的多指标评估框架：重要性、多样性（概念、时间、相似性）、以及大事件的连贯性，以全面评估摘要质量。
• 使用单个参考摘要作为目标训练视频摘要模型，应用结合多种损失函数的方法，以强调不同理想特征（如重要性、多样性、连贯性）。
• 在 VISIOCITY 上，使用所提出的评估框架，将该训练方法与单一参考摘要训练方式及最先进模型（如 DR-DSN、VASNET、vsLSTM）进行对比。
• 通过 https://visiocity.github.io/ 公开发布 VISIOCITY，以支持视频摘要算法的可复现基准测试。

实验结果

研究问题

• RQ1 一个大规模、多样化、长视频并带有丰富标注的数据集，能否支持更真实且泛化能力更强的视频摘要研究？
• RQ2 从间接真实标签自动生成多个参考摘要，能否产生与人工标注摘要质量相当的摘要？
• RQ3 单一评估指标是否足以捕捉优质视频摘要的多维特性？还是必须依赖多指标框架？
• RQ4 在多个多样化参考摘要上，结合多种损失函数进行训练，是否能带来优于单一综合（oracle）参考摘要的性能提升？
• RQ5 在像 VISIOCITY 这样真实、大规模的基准上，最先进模型的表现如何，相较于其在小型数据集上的表现有何差异？

主要发现

• VISIOCITY 包含67段长视频，覆盖六个多样化类别，并带有密集的概念标注，是目前同类中规模最大、最富多样性的基准数据集。
• 通过定性与定量分析验证，自动生成的参考摘要质量与人工摘要相当。
• 所提出的多指标评估框架揭示：不同模型在不同特征上表现优异——例如，vsLSTM 在大事件连贯性方面优于其他模型，而 DR-DSN 在多样性方面表现突出，但在重要性感知摘要方面表现较差。
• 采用单个参考摘要与组合损失函数（重要性、多样性、连贯性）进行训练，可获得最佳性能，在 Soccer 视频上达到 50.0% F1，Birthday 视频上达到 62.0%，Wedding 视频上达到 51.8%，全面超越所有基线模型。
• DR-DSN 作为一种无监督方法，在 VISIOCITY 上的表现远逊于其在 TVSum 和 SumMe 等小型数据集上的表现，尤其在具有明确高影响力事件的视频中，凸显了真实基准的必要性。
• 所提出的框架与数据集实现了更细致、更贴近人类判断的评估，表明两个摘要可以同样优秀，但在关注点、多样性与连贯性等特征上存在差异。