[论文解读] Human-centric Spatio-Temporal Video Grounding With Visual Transformers

Zongheng Tang, Yue Liao+6 more|arXiv (Cornell University)|Nov 10, 2020

Multimodal Machine Learning Applications参考文献 44被引用 14

一句话总结

本文提出了以人为中心的时空视频定位（HC-STVG）这一新任务，旨在通过自然语言查询在未剪辑的长视频中定位特定人物的时空管。作者提出STGVT方法，一种基于视觉Transformer的模型，联合建模跨模态的视频-句子表征，并引入管状修剪模块，在包含5,660对视频-句子的新HC-STVG数据集上实现了最先进性能。

ABSTRACT

In this work, we introduce a novel task - Humancentric Spatio-Temporal Video Grounding (HC-STVG). Unlike the existing referring expression tasks in images or videos, by focusing on humans, HC-STVG aims to localize a spatiotemporal tube of the target person from an untrimmed video based on a given textural description. This task is useful, especially for healthcare and security-related applications, where the surveillance videos can be extremely long but only a specific person during a specific period of time is concerned. HC-STVG is a video grounding task that requires both spatial (where) and temporal (when) localization. Unfortunately, the existing grounding methods cannot handle this task well. We tackle this task by proposing an effective baseline method named Spatio-Temporal Grounding with Visual Transformers (STGVT), which utilizes Visual Transformers to extract cross-modal representations for video-sentence matching and temporal localization. To facilitate this task, we also contribute an HC-STVG dataset consisting of 5,660 video-sentence pairs on complex multi-person scenes. Specifically, each video lasts for 20 seconds, pairing with a natural query sentence with an average of 17.25 words. Extensive experiments are conducted on this dataset, demonstrating the newly-proposed method outperforms the existing baseline methods.

研究动机与目标

• 为解决现有视频定位方法在长未剪辑视频中同时实现人物时空定位的不足。
• 构建一个富含时空标注的新型基准数据集，用于以人为中心的视频定位任务。
• 提出一种鲁棒的端到端方法，能够在复杂多人群场景中实现视觉与文本模态之间的细粒度推理。
• 展示视觉Transformer在建模长程依赖关系方面对联合视频-句子匹配与时间定位任务的有效性。

提出的方法

• 提出STGVT两阶段框架：首先通过管-描述匹配模块生成管状提议，再通过管状修剪模块进行优化。
• 采用在Conceptual Captions数据集上预训练的视觉Transformer主干网络，从视频帧中提取高层视觉特征。
• 在文本查询嵌入与视觉特征之间引入交叉注意力机制，实现语言描述与时空管的对齐。
• 提出管状修剪模块，通过基于时间一致性和视觉相关性的预测，优化初始预测的起始与结束帧。
• 利用多头交叉注意力机制，建模跨空间与时间维度的文本查询与视觉标记之间的交互。
• 在预训练阶段采用对比学习策略，提升视频与文本表征之间的对齐能力。

实验结果

研究问题

• RQ1 基于视觉Transformer的模型能否在长未剪辑视频中有效实现对特定人物在空间与时间上的定位？
• RQ2 管状修剪模块相较于原始管状预测，如何提升时间定位的准确性？
• RQ3 在大规模带字幕数据集上进行预训练，在多大程度上提升了HC-STVG任务的性能？
• RQ4 在复杂多人群场景中，所提方法与现有视频定位基线相比表现如何？

主要发现

• 所提STGVT方法在HC-STVG数据集上达到16.93%的平均vIoU，显著优于WSSTG基线方法（12.96%）。
• 管状修剪模块在m_vIoU上相比无修剪版本提升3.78%，证明其在优化时间边界方面的有效性。
• 采用预训练的方法达到34.71%的m_tIoU，显著优于随机基线（0.71%）及TALL与2D-TAN等现有方法。
• 消融实验表明，管-描述匹配模块与修剪模块均对性能有显著贡献，其中后者提升最大。
• 定性结果表明，STGVT在大多数样本中生成的空间边界框更准确，时间对齐效果优于基线方法TALL+WSSTG。
• 该方法在不同视频片段上泛化能力良好，表现为在多个评估指标与数据集划分上均保持一致的性能提升。