[论文解读] End-to-End Dense Video Grounding via Parallel Regression

Fengyuan Shi, Weilin Huang+1 more|arXiv (Cornell University)|Sep 23, 2021

Multimodal Machine Learning Applications参考文献 37被引用 5

一句话总结

本文提出PRVG，一种用于密集视频定位的端到端框架，通过并行解码范式直接回归段落中每个句子的时序边界。通过将语言视为查询并采用提案级别注意力损失，PRVG在无需后处理的情况下实现了更高的准确率和推理效率，在ActivityNet Captions和TACoS基准上超越了先前方法。

ABSTRACT

Video grounding aims to localize the corresponding video moment in an untrimmed video given a language query. Existing methods often address this task in an indirect way, by casting it as a proposal-and-match or fusion-and-detection problem. Solving these surrogate problems often requires sophisticated label assignment during training and hand-crafted removal of near-duplicate results. Meanwhile, existing works typically focus on sparse video grounding with a single sentence as input, which could result in ambiguous localization due to its unclear description. In this paper, we tackle a new problem of dense video grounding, by simultaneously localizing multiple moments with a paragraph as input. From a perspective on video grounding as language conditioned regression, we present an end-to-end parallel decoding paradigm by re-purposing a Transformer-alike architecture (PRVG). The key design in our PRVG is to use languages as queries, and directly regress the moment boundaries based on language-modulated visual representations. Thanks to its simplicity in design, our PRVG framework can be applied in different testing schemes (sparse or dense grounding) and allows for efficient inference without any post-processing technique. In addition, we devise a robust proposal-level attention loss to guide the training of PRVG, which is invariant to moment duration and contributes to model convergence. We perform experiments on two video grounding benchmarks of ActivityNet Captions and TACoS, demonstrating that our PRVG can significantly outperform previous methods. We also perform in-depth studies to investigate the effectiveness of parallel regression paradigm on video grounding.

研究动机与目标

• 解决现有视频定位方法中‘一对一’间接方法存在的局限性，这些方法需要复杂的标签分配和后处理。
• 通过利用段落级上下文来缓解单句描述中的语义模糊性，从而提高定位准确率。
• 通过消除NMS或排序等后处理步骤，实现高效、端到端的推理。
• 设计一种对时序片段长度不敏感的训练目标，以提升模型收敛性。
• 基于直接并行回归与语言查询，建立密集视频定位的新范式。

提出的方法

• 重新利用类似Transformer的架构，使用语言查询来关注视觉表征，实现时序边界的直接回归。
• 采用并行解码策略，使每个句子查询独立回归一个时序片段，避免生成候选区域或后续处理。
• 引入一种尺度不变的提案级别注意力损失，鼓励注意力聚焦于真实标注的时序区域，从而提升定位精度。
• 通过语言查询与视觉特征之间的交叉注意力，捕捉全局上下文信息，实现对不同持续时间片段的灵活定位。
• 利用段落内部的自注意力机制建模句子间关系，解决单句描述中的语义模糊性。
• 采用边界框回归损失与所提出的提案级别注意力损失相结合的方式，进行端到端训练。

实验结果

研究问题

• RQ1 直接并行回归方法是否能在密集视频定位中超越间接的‘一对一’方法？
• RQ2 将语言作为查询使用，是否能提升定位准确率与模型效率？
• RQ3 一种对时序片段长度不敏感的提案级别注意力损失，是否能带来更好的收敛性与性能表现？
• RQ4 与单句定位相比，段落级上下文在多大程度上能减少定位中的语义模糊性？
• RQ5 与采用束搜索后处理的DETR-based模型相比，所提出的框架在推理速度与准确率方面表现如何？

主要发现

• PRVG在ActivityNet Captions和TACoS两个基准上均优于先前方法，展现出密集视频定位的最先进性能。
• 引入提案级别注意力损失后，性能显著优于位置感知注意力损失，注意力更集中于真实标注的时序区域。
• PRVG的推理速度远超DETR-based模型，后者需耗时的束搜索与后处理，PRVG的推理时间超过两倍快。
• 采用提案级别注意力损失训练的模型在真实标注区域上展现出更清晰、多峰的注意力分布，表明定位精度更高。
• PRVG显著优于DETR-VG与Language DETR-VG基线模型，尤其在捕捉段落中句子间的时序与语义关系方面表现突出。
• 该框架通过建模句子间上下文，成功解决了单句描述中的歧义，实现了更准确且时序有序的定位结果。