[论文解读] A Unified Multi-Faceted Video Summarization System

Anurag Sahoo, Vishal Kaushal+4 more|arXiv (Cornell University)|Apr 4, 2017

Video Analysis and Summarization被引用 6

一句话总结

本文提出了一种统一的、交互式的视频摘要系统，利用子模优化技术生成多维度摘要——关键帧、视频剪辑以及实体级摘要（如人脸、物体、场景）。系统仅需一次性预处理视频以提取视觉特征，即可在数秒内实现实时、按需生成数小时视频的摘要，具备在多样性、覆盖度和表征模型方面可解释且可扩展的特性。

ABSTRACT

This paper addresses automatic summarization and search in visual data comprising of videos, live streams and image collections in a unified manner. In particular, we propose a framework for multi-faceted summarization which extracts key-frames (image summaries), skims (video summaries) and entity summaries (summarization at the level of entities like objects, scenes, humans and faces in the video). The user can either view these as extractive summarization, or query focused summarization. Our approach first pre-processes the video or image collection once, to extract all important visual features, following which we provide an interactive mechanism to the user to summarize the video based on their choice. We investigate several diversity, coverage and representation models for all these problems, and argue the utility of these different mod- els depending on the application. While most of the prior work on submodular summarization approaches has focused on combining several models and learning weighted mixtures, we focus on the explain-ability of different the diversity, coverage and representation models and their scalability. Most importantly, we also show that we can summarize hours of video data in a few seconds, and our system allows the user to generate summaries of various lengths and types interactively on the fly.

研究动机与目标

• 解决大规模视觉数据（视频、直播流、图像集合）的摘要问题，这些数据量过大，无法由人工处理。
• 提供一个统一框架，整合抽取式摘要、查询聚焦摘要和基于实体的摘要于同一系统中。
• 实现实时、交互式地对长视频（如数小时）进行摘要，支持自定义摘要长度和类型。
• 优先保证子模模型在多样性、覆盖度和表征方面的可解释性与可扩展性，而非学习加权混合模型。
• 通过高效预处理和按需摘要生成，减少用户等待时间与计算开销。

提出的方法

• 一次性预处理视频或图像集合，提取视觉特征（物体、场景、人脸、颜色）并构建持久的分析数据库。
• 应用子模函数——差异最小化（Disparity Min）、设施选址（Facility Location）和基于特征的（Feature-Based）——以在摘要中优化多样性、覆盖度和表征。
• 采用统一的优化流程，支持抽取式摘要（关键帧、视频剪辑）以及通过用户自定义查询实现的查询聚焦摘要。
• 实现基于实体的摘要，以提取物体、场景、人物和人脸的代表性实例，支持概念级理解。
• 利用GPU加速的深度学习进行预处理阶段的特征提取，单张GPU处理2小时视频约需30分钟。
• 通过缓存特征并根据用户偏好（长度、类型、查询）按需重新计算摘要，实现交互式摘要。

实验结果

研究问题

• RQ1 如何在一个可扩展且可解释的框架中，统一实现关键帧、视频剪辑和实体摘要等多种视频摘要形式？
• RQ2 不同子模函数（差异最小化、设施选址、基于特征的）在捕捉多样性、覆盖度和表征方面的相对优势与权衡是什么？
• RQ3 预处理流程是否能够实现实时、按需生成数小时视频数据的摘要，且延迟极低？
• RQ4 系统如何在不同视频长度和摘要大小下保持可扩展性和性能？
• RQ5 系统在多大程度上能够支持交互式、用户驱动的摘要，适用于抽取式、查询聚焦式和基于概念的摘要？

主要发现

• 在一次性预处理后，系统可在数秒内完成数小时视频数据的摘要，实现低延迟的交互式摘要。
• 设施选址函数在2小时视频（7200帧）上实现亚秒级摘要生成，展现出极高的可扩展性。
• 差异最小化函数在捕捉关键异常（如黑帧、离群帧）方面表现优异，适用于监控场景。
• 设施选址函数能提供均衡的聚类表征，避免遗漏帧群（如示例视频中的第8至12帧）。
• 基于特征的函数可确保视觉概念的均匀覆盖，但可能因缺乏直接的多样性约束而引入冗余帧。
• 基于实体的摘要能有效识别代表性人脸、物体和场景，其性能因子模函数的选择而异。