[论文解读] Exploring global diverse attention via pairwise temporal relation for video summarization

Ping Li, Qinghao Ye+4 more|arXiv (Cornell University)|Sep 23, 2020

Video Analysis and Summarization参考文献 44被引用 7

一句话总结

本文提出 SUM-GDA，一种视频摘要模型，通过成对时间关系的全局多样化注意力机制，提升帧的多样性与摘要质量。通过建模所有帧对之间的相似性并利用行列式点过程（DPP），该方法在计算成本低于基于 RNN 的方法的同时，实现了最先进（SOTA）的性能表现。

ABSTRACT

Video summarization is an effective way to facilitate video searching and browsing. Most of existing systems employ encoder-decoder based recurrent neural networks, which fail to explicitly diversify the system-generated summary frames while requiring intensive computations. In this paper, we propose an efficient convolutional neural network architecture for video SUMmarization via Global Diverse Attention called SUM-GDA, which adapts attention mechanism in a global perspective to consider pairwise temporal relations of video frames. Particularly, the GDA module has two advantages: 1) it models the relations within paired frames as well as the relations among all pairs, thus capturing the global attention across all frames of one video; 2) it reflects the importance of each frame to the whole video, leading to diverse attention on these frames. Thus, SUM-GDA is beneficial for generating diverse frames to form satisfactory video summary. Extensive experiments on three data sets, i.e., SumMe, TVSum, and VTW, have demonstrated that SUM-GDA and its extension outperform other competing state-of-the-art methods with remarkable improvements. In addition, the proposed models can be run in parallel with significantly less computational costs, which helps the deployment in highly demanding applications.

研究动机与目标

• 解决基于 RNN 的视频摘要模型在依赖顺序处理时缺乏显式多样性的缺陷。
• 开发一种高效、可并行化的架构，以在无需循环计算的情况下捕捉长程时间依赖关系。
• 通过成对相似性建模全局帧间关系，提升所选摘要帧的语义多样性。
• 在最小人工标注的前提下，支持监督与无监督视频摘要。
• 在保持或超越最先进性能的同时，提升计算效率。

提出的方法

• 全局多样化注意力（GDA）模块计算所有视频帧之间的成对相似性矩阵，以建模多尺度时间关系。
• 相似性矩阵的每一行表示某帧相对于所有其他帧的注意力水平，相似性越低表示该帧在多样性方面越重要。
• 通过不相似性权重计算帧的重要性得分，促进选择语义上不同的帧。
• 应用行列式点过程（DPP）从高分帧中选择一个多样化的子集作为最终摘要。
• 模型采用卷积神经网络（CNN）架构实现，支持全 GPU 并行计算，显著降低推理成本。
• 引入光流特征作为输入模态以捕捉运动信息，但其影响在不同数据集上表现不一。

实验结果

研究问题

• RQ1 能否有效建模所有视频帧之间的成对时间关系，以提升视频摘要中的全局注意力与帧多样性？
• RQ2 基于帧成对相似性的全局注意力机制是否在摘要质量与效率方面优于自回归的 RNN 基方法？
• RQ3 在多样化视频数据集中，引入光流特征在多大程度上能提升摘要性能？
• RQ4 所提方法是否能在监督与无监督设置下均实现优异性能？
• RQ5 全局多样化注意力机制在多大程度上有助于减少冗余并提升生成摘要的语义完整性？

主要发现

• SUM-GDA 在 SumMe、TVSum 和 VTW 数据集上均达到最先进性能，在 TVSum 数据集的基准设置下取得 61.0 的 F1 分数。
• 模型在 VTW 上将 F1 分数提升至 60.2，在 SumMe 上达到 59.6，优于先前的最先进方法。
• 在无监督设置下，SUM-GDA unsup 在 SumMe 上取得 59.6 的 F1 分数，在 VTW 上达到 60.2，展现出强大的零样本能力。
• 光流特征在 TVSum 上显著提升性能（F1 从 59.2 提升至 61.0），因其动作内容丰富；但在 SumMe 和 VTW 上因存在与运动无关的场景而导致性能下降。
• 通过可并行化的 CNN 架构，模型显著降低计算成本，避免了 RNN 的顺序依赖性，实现高效部署。
• 可视化结果证实，全局多样化注意力机制能有效选择语义多样的帧，显著减少摘要中的冗余。