[论文解读] You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos

Xiang Fang, Daizong Liu+2 more|arXiv (Cornell University)|Mar 14, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了一种新颖的压缩域时序句子定位框架 TCSF，该框架直接利用 I 帧、运动矢量和残差特征处理压缩视频比特流，从而在无需完整解压缩的情况下实现高效且有效的定位。该方法在三个基准数据集上实现了最先进性能，同时显著降低了计算复杂度。

ABSTRACT

Given an untrimmed video, temporal sentence grounding (TSG) aims to locate a target moment semantically according to a sentence query. Although previous respectable works have made decent success, they only focus on high-level visual features extracted from the consecutive decoded frames and fail to handle the compressed videos for query modelling, suffering from insufficient representation capability and significant computational complexity during training and testing. In this paper, we pose a new setting, compressed-domain TSG, which directly utilizes compressed videos rather than fully-decompressed frames as the visual input. To handle the raw video bit-stream input, we propose a novel Three-branch Compressed-domain Spatial-temporal Fusion (TCSF) framework, which extracts and aggregates three kinds of low-level visual features (I-frame, motion vector and residual features) for effective and efficient grounding. Particularly, instead of encoding the whole decoded frames like previous works, we capture the appearance representation by only learning the I-frame feature to reduce delay or latency. Besides, we explore the motion information not only by learning the motion vector feature, but also by exploring the relations of neighboring frames via the residual feature. In this way, a three-branch spatial-temporal attention layer with an adaptive motion-appearance fusion module is further designed to extract and aggregate both appearance and motion information for the final grounding. Experiments on three challenging datasets shows that our TCSF achieves better performance than other state-of-the-art methods with lower complexity.

研究动机与目标

• 为解决现有时序句子定位（TSG）方法因需要完整视频解压缩而导致的低效与高计算成本问题。
• 探索一种新的实用场景——压缩域 TSG，即模型直接处理压缩视频比特流而非解压缩帧。
• 开发一种轻量化、高效且有效的框架，利用低层次压缩域特征实现文本查询与视频片段之间的精确跨模态对齐。
• 在保持或提升对比完全监督和弱监督基线方法的定位准确率的同时，降低延迟和存储开销。

提出的方法

• 提出一种三分支压缩域空间-时序融合（TCSF）框架，从压缩视频 GOP 中提取并融合三种低层次特征：I 帧外观特征、运动矢量运动特征和残差差异特征。
• 仅使用 I 帧特征进行外观表征，以最小化延迟，避免完整帧解码。
• 设计一种三分支空间-时序注意力模块，联合建模来自外观和运动表征的空间局部化与时间连贯性特征。
• 引入一种自适应运动-外观融合模块，根据查询上下文动态平衡外观与运动特征的重要性。
• 采用伪特征生成（PFG）模块，在无需完整解压缩的情况下丰富完整帧上下文。
• 在自适应融合模块中利用查询引导的特征增强和残差引导的特征融合，以提升文本查询与视觉内容之间的对齐效果。

实验结果

研究问题

• RQ1 能否在不进行完整帧解压缩的情况下，直接从压缩视频比特流中实现有效的时序句子定位？
• RQ2 如何有效结合低层次压缩域特征（如 I 帧、运动矢量和残差）以建模视频内容用于定位？
• RQ3 在压缩域中，外观、运动和残差特征对定位性能的相对贡献是什么？
• RQ4 通过避免完整帧解码，模型是否能在更低计算复杂度下实现最先进准确率？
• RQ5 空间-时序注意力和自适应融合等架构组件如何提升压缩域中的定位性能？

主要发现

• TCSF 框架在三个基准数据集——ActivityNet Captions、Charades-STA 和 TACoS 上均实现了最先进性能，优于现有完全监督和弱监督方法。
• 在 ActivityNet Captions 上，TCSF 达到了 66.87% R@1（IoU=0.3）和 48.38% R@1（IoU=0.5），超越了先前的 SOTA 方法。
• 消融实验证实，所有组件——伪特征生成、三分支注意力和自适应运动-外观融合——均对性能提升有显著贡献。
• 仅使用运动矢量和残差特征相比仅使用 I 帧特征，R@1（IoU=0.3）性能提升了 2.5%。
• 最优超参数为：时间注意力窗口 K=7，损失平衡系数 α=0.8（在定位头中），可获得最佳整体性能。
• 该模型通过避免完整帧解码，显著降低了计算复杂度和延迟，同时保持高准确率，展现出在实际部署中的高效性与实用性。