[论文解读] How Local is the Local Diversity? Reinforcing Sequential Determinantal Point Processes with Dynamic Ground Sets for Supervised Video Summarization

Yandong Li, Liqiang Wang+2 more|arXiv (Cornell University)|Jul 11, 2018

Video Analysis and Summarization参考文献 37被引用 4

一句话总结

该论文提出 DySeqDPP，一种基于强化学习的序列确定性点过程，可动态学习局部多样性在监督视频摘要中的最优片段长度。通过自适应建模时间跨度并采用策略梯度训练，其性能优于基于最大似然估计（MLE）的方法及当前最先进（SOTA）基线，在 SumMe 数据集上达到 44.3±2.8 的 F1 分数，在 TVSum 数据集上达到 58.4±2.5。

ABSTRACT

The large volume of video content and high viewing frequency demand automatic video summarization algorithms, of which a key property is the capability of modeling diversity. If videos are lengthy like hours-long egocentric videos, it is necessary to track the temporal structures of the videos and enforce local diversity. The local diversity refers to that the shots selected from a short time duration are diverse but visually similar shots are allowed to co-exist in the summary if they appear far apart in the video. In this paper, we propose a novel probabilistic model, built upon SeqDPP, to dynamically control the time span of a video segment upon which the local diversity is imposed. In particular, we enable SeqDPP to learn to automatically infer how local the local diversity is supposed to be from the input video. The resulting model is extremely involved to train by the hallmark maximum likelihood estimation (MLE), which further suffers from the exposure bias and non-differentiable evaluation metrics. To tackle these problems, we instead devise a reinforcement learning algorithm for training the proposed model. Extensive experiments verify the advantages of our model and the new learning algorithm over MLE-based methods.

研究动机与目标

• 解决在长视频摘要中确定最优局部多样性跨度的挑战，尤其针对第一人称视角视频。
• 克服 SeqDPP 中固定片段方法的局限性，后者需要手动划分且假设片段长度均匀。
• 使模型能够基于视频内容和时间结构自动推断局部多样性应如何实施。
• 开发一种训练框架，以缓解暴露偏差，并处理视频摘要中不可微的评估指标（如 F1 分数）。
• 通过强化学习弥合训练与推理之间的差距，使策略学习与下游评估目标对齐。

提出的方法

• 提出 DySeqDPP，作为 SeqDPP 的动态扩展，引入潜在变量以从输入视频中学习局部多样性片段的时间跨度。
• 通过在动态确定的片段上定义条件 DPP 来实现局部多样性，允许在时间上分离的视觉相似镜头共现。
• 使用强化学习算法和策略梯度目标进行模型训练，其中奖励为生成摘要的 F1 分数。
• 在训练期间使用“最优”摘要来采样片段建议，并从 DPP 核矩阵 $\bm{L}^t$ 的对角线计算镜头级得分。
• 通过策略梯度优化策略网络，以最大化期望 F1 分数，从而减少基于 MLE 训练固有的暴露偏差。
• 基于通过 KTS 得到的时间场景分割，利用背包算法从镜头级重要性得分生成摘要。

实验结果

研究问题

• RQ1 如何使视频摘要中的局部多样性动态适应长视频的时间结构，而非依赖固定片段长度？
• RQ2 端到端学习局部多样性跨度对摘要质量的影响如何，相较于手工设计或固定划分？
• RQ3 强化学习能否有效训练具有不可微指标（如 F1 分数）的序列 DPP 模型，是否能缓解暴露偏差？
• RQ4 与基于 MLE 的训练相比，所提出的 DySeqDPP 模型在泛化能力和评估指标对齐方面表现如何？
• RQ5 动态片段学习在多大程度上提升了对长第一人称视频中关键故事情节的捕捉能力？

主要发现

• DySeqDPP 在 SumMe 数据集上取得 44.3±2.8 的 F1 分数，达到新的 SOTA 水平，显著优于此前的 SOTA 方法 SeqDPP（40.8±4.8）。
• 在 TVSum 数据集上，DySeqDPP 达到 58.4±2.5 的 F1 分数，超越此前最佳结果 57.4±2.0（来自 SeqDPP）。
• 定性分析表明，DySeqDPP 捕捉了关键故事情节（如跳伞者在开头和结尾出现），而 SeqDPP 未能识别。
• 该模型成功识别出幽默视频中的关键时刻（如狗咬球），而 SeqDPP 未能包含这些内容。
• 强化学习训练使训练目标与评估指标更好地对齐，减轻了暴露偏差。
• 动态片段学习机制使模型能够根据事件密度自适应调整片段长度，提升了时间连贯性和故事完整性。