[论文解读] IntentVizor: Towards Generic Query Guided Interactive Video Summarization

Guande Wu, Jianzhe Lin+1 more|arXiv (Cornell University)|Sep 30, 2021

Video Analysis and Summarization被引用 4

一句话总结

IntentVizor 提出了一种交互式、查询引导的视频摘要框架，通过多模态查询（文本和视频片段）将用户意图表示为可学习、可编辑的基元意图分布。通过集成一种新型的粒度可扩展自注意图卷积网络（GSE-GCN）以及支持实时意图调整的可视化界面，该框架提升了摘要质量和可解释性，在基准数据集上优于最先进方法，且在多种模态间表现出强大的泛化能力。

ABSTRACT

The target of automatic video summarization is to create a short skim of the original long video while preserving the major content/events. There is a growing interest in the integration of user queries into video summarization or query-driven video summarization. This video summarization method predicts a concise synopsis of the original video based on the user query, which is commonly represented by the input text. However, two inherent problems exist in this query-driven way. First, the text query might not be enough to describe the exact and diverse needs of the user. Second, the user cannot edit once the summaries are produced, while we assume the needs of the user should be subtle and need to be adjusted interactively. To solve these two problems, we propose IntentVizor, an interactive video summarization framework guided by generic multi-modality queries. The input query that describes the user's needs are not limited to text but also the video snippets. We further represent these multi-modality finer-grained queries as user `intent', which is interpretable, interactable, editable, and can better quantify the user's needs. In this paper, we use a set of the proposed intents to represent the user query and design a new interactive visual analytic interface. Users can interactively control and adjust these mixed-initiative intents to obtain a more satisfying summary through the interface. Also, to improve the summarization quality via video understanding, a novel Granularity-Scalable Ego-Graph Convolutional Networks (GSE-GCN) is proposed. We conduct our experiments on two benchmark datasets. Comparisons with the state-of-the-art methods verify the effectiveness of the proposed framework. Code and dataset are available at https://github.com/jnzs1836/intent-vizor.

研究动机与目标

• 为解决查询驱动视频摘要中静态纯文本查询的局限性，后者往往无法捕捉细微或动态变化的用户需求。
• 实现交互式、用户引导的摘要生成，使用户可通过可视化界面迭代优化其意图。
• 开发一种通用的多模态查询框架，支持文本、视频片段，以及潜在的其他模态，以实现灵活的用户输入。
• 通过将用户意图建模为基元意图上的可学习、可调节分布，提升摘要性能，增强可解释性与精确度。
• 设计统一的深度学习主干网络（GSE-GCN），以支持不同查询模态下的意图提取与摘要生成。

提出的方法

• 该框架引入‘意图’作为基元意图（用户需求的低层次语义组件）上的可学习、可解释且可编辑的概率分布，而非固定类别或嵌入向量。
• 提出一种新型的粒度可扩展自注意图卷积网络（GSE-GCN），用于联合编码视频特征与多模态查询，实现灵活的时间粒度与共享表征学习。
• 意图模块利用 GSE-GCN 主干网络，将多模态查询（文本或视频片段）转换为基元意图上的概率分布。
• 摘要模块通过加权组合基元意图（权重为概率分布）生成简洁的视频摘要，使用相同的 GSE-GCN 主干网络。
• 混合协作式可视化界面支持用户实时调整意图分布，并即时反馈生成的摘要结果。
• 该框架支持零样本迁移学习：在文本查询上预训练的摘要模块，可通过微调适配视频查询，而无需重新训练整个模型。

实验结果

研究问题

• RQ1 在视频摘要中，多模态查询（文本与视频片段）是否能比纯文本查询更好地表达多样化且动态变化的用户需求？
• RQ2 如何将用户意图建模为可调节、可解释的基元意图分布，以支持交互式优化？
• RQ3 共享的 GSE-GCN 主干网络在支持不同查询模态下的意图提取与视频摘要生成方面，其有效性在多大程度上得以体现？
• RQ4 与非交互式基线方法相比，支持实时意图操作的交互式界面是否能显著提升用户满意度与摘要质量？
• RQ5 在文本查询上预训练的模型，是否能通过迁移学习有效泛化到视觉查询？

主要发现

• 所提出的 IntentVizor 框架在两个基准数据集上达到最先进性能，证明其在查询引导视频摘要中的卓越有效性。
• 迁移学习实验表明，在文本查询上预训练的摘要模块能良好泛化至视觉查询，优于在标准设置下训练的模型。
• 可视化界面使用户能够通过调整意图分布迭代优化摘要，显著提升用户控制力与满意度。
• 消融研究证实 GSE-GCN 中粒度可扩展设计的必要性，表明其在不同时间粒度下均能提升性能。
• 定性分析表明，该框架能识别细粒度意图簇，如‘烹饪食物’和‘储存食物’，体现其可解释性与语义丰富性。
• 该框架成功捕捉复杂、多方面的用户需求——例如通过解耦的基元意图区分‘餐桌’与‘工作台’——展示了其建模能力。