[论文解读] Embracing Consistency: A One-Stage Approach for Spatio-Temporal Video Grounding

Yang Jin, Yongzhi Li+2 more|arXiv (Cornell University)|Sep 27, 2022

Multimodal Machine Learning Applications被引用 15

一句话总结

本文提出 STCAT，一种用于时空视频定位的一阶段端到端 Transformer 框架，通过引入全局多模态模板作为一致性感知目标，解决了特征对齐和预测不一致的问题。该方法采用编码器-解码器架构，结合联合视频-文本建模与时间交互层，在 VidSTG 和 HC-STVG 基准上实现了最先进性能，m_vIoU 分别提升 33.14% 和 30.09%。

ABSTRACT

Spatio-Temporal video grounding (STVG) focuses on retrieving the spatio-temporal tube of a specific object depicted by a free-form textual expression. Existing approaches mainly treat this complicated task as a parallel frame-grounding problem and thus suffer from two types of inconsistency drawbacks: feature alignment inconsistency and prediction inconsistency. In this paper, we present an end-to-end one-stage framework, termed Spatio-Temporal Consistency-Aware Transformer (STCAT), to alleviate these issues. Specially, we introduce a novel multi-modal template as the global objective to address this task, which explicitly constricts the grounding region and associates the predictions among all video frames. Moreover, to generate the above template under sufficient video-textual perception, an encoder-decoder architecture is proposed for effective global context modeling. Thanks to these critical designs, STCAT enjoys more consistent cross-modal feature alignment and tube prediction without reliance on any pre-trained object detectors. Extensive experiments show that our method outperforms previous state-of-the-arts with clear margins on two challenging video benchmarks (VidSTG and HC-STVG), illustrating the superiority of the proposed framework to better understanding the association between vision and natural language. Code is publicly available at https://github.com/jy0205/STCAT.

研究动机与目标

• 为解决现有两阶段和一阶段 STVG 方法中特征对齐和帧间预测不一致的问题。
• 通过利用全局视频-文本上下文实现端到端学习，消除对预训练目标检测器的依赖。
• 通过统一的可学习多模态模板建模时间一致性，提升定位精度。
• 通过在联合编码器-解码器框架中融合全局视频与文本表征，增强跨模态对齐。

提出的方法

• 提出一种新型多模态模板作为全局目标，由共享内容项和帧特定位置项组成，以引导帧间一致的预测。
• 采用编码器-解码器 Transformer 架构，并引入跨模态时空编码器，以建模长距离视频-文本交互。
• 在编码器中引入时间交互层，聚合全局视频上下文，提升特征对齐能力。
• 在解码器中使用可学习查询机制，其中全局模板作为内容查询，局部模板作为位置查询，用于帧级定位。
• 采用端到端训练范式，无需目标检测器，直接从原始视频和文本回归时空管状区域。
• 利用视频级交叉注意力机制，确保预测在时间上语义一致。

实验结果

研究问题

• RQ1 如何通过确保视频帧间的一致性特征对齐来提升时空视频定位性能？
• RQ2 统一的可学习模板机制是否能减少一阶段 STVG 模型中的预测不一致性？
• RQ3 在不依赖预训练目标检测器的前提下，建模全局视频上下文在多大程度上能提升定位性能？
• RQ4 全局模板与局部模板的融合如何影响管状预测的鲁棒性与准确性？

主要发现

• STCAT 在 VidSTG 基准上实现了新的最先进 m_vIoU 指标（33.14%），显著优于之前的 SOTA 方法。
• 在更具挑战性的 HC-STVG 基准上，STCAT 达到 30.09% m_vIoU，远超此前 SOTA 的 23.50%。
• 消融实验表明，全局与局部模板机制均至关重要，其中局部模板对性能贡献更大（+1.64% m_vIoU）。
• 移除时间交互层导致性能显著下降（31.12% m_vIoU vs. 33.14%），验证了其在全局上下文建模中的关键作用。
• 定性结果表明，与 STVGBert 相比，STCAT 在长时序、复杂视频场景中生成了更准确且一致的时空管状区域。
• 由于具备全局上下文感知与一致性机制，该模型即使在存在多个候选实例时，也能成功定位正确实例。