[论文解读] Context-aware Biaffine Localizing Network for Temporal Sentence Grounding

Daizong Liu, Xiaoye Qu+6 more|arXiv (Cornell University)|Mar 22, 2021

Multimodal Machine Learning Applications参考文献 48被引用 15

一句话总结

该论文提出了一种上下文感知的双线性定位网络（CBLN），用于时序句子定位，通过结合多尺度局部和全局上下文建模的双线性机制，同时对所有可能的起始-结束帧对进行评分。该方法在ActivityNet Captions、TACoS和Charades-STA三个基准上取得了最先进性能，在ActivityNet Captions上的IoU=0.7时R@1达到27.60%，通过联合建模局部视觉线索与全局时序依赖，显著提升了语言查询与视频片段之间的对齐效果。

ABSTRACT

This paper addresses the problem of temporal sentence grounding (TSG), which aims to identify the temporal boundary of a specific segment from an untrimmed video by a sentence query. Previous works either compare pre-defined candidate segments with the query and select the best one by ranking, or directly regress the boundary timestamps of the target segment. In this paper, we propose a novel localization framework that scores all pairs of start and end indices within the video simultaneously with a biaffine mechanism. In particular, we present a Context-aware Biaffine Localizing Network (CBLN) which incorporates both local and global contexts into features of each start/end position for biaffine-based localization. The local contexts from the adjacent frames help distinguish the visually similar appearance, and the global contexts from the entire video contribute to reasoning the temporal relation. Besides, we also develop a multi-modal self-attention module to provide fine-grained query-guided video representation for this biaffine strategy. Extensive experiments show that our CBLN significantly outperforms state-of-the-arts on three public datasets (ActivityNet Captions, TACoS, and Charades-STA), demonstrating the effectiveness of the proposed localization framework.

研究动机与目标

• 为解决现有方法依赖候选提议排序或独立回归起始/结束边界所带来的局限性，这些方法无法建模起始点与结束点之间的联合依赖关系。
• 通过显式建模每个帧的局部视觉上下文（相邻帧）和全局视频上下文（整个视频），提升边界判别能力，从而改善时序定位性能。
• 开发一种查询引导的视频表征，捕捉语言查询与视频特征之间细粒度的多模态交互，以实现更好的对齐效果。
• 将时序句子定位重新定义为使用双线性机制对所有可能的起始-结束对进行联合评分的问题，同时保留时序结构与上下文信息。

提出的方法

• 提出多上下文双线性定位（MCBL）模块，通过堆叠的非局部块融合多尺度局部上下文（相邻帧）与多尺度全局上下文（整个视频），以丰富帧级表征。
• 引入多模态自注意力（MMSA）模块，通过建模句子查询与视频帧之间的跨模态依赖关系，学习查询感知的视频表征。
• 采用双线性机制，同时计算所有可能的起始帧与结束帧对之间的兼容性得分，实现时序边界的联合预测。
• 在MCBL模块中使用最大池化与拼接进行特征融合，非局部块使局部与全局上下文表征之间实现自适应交互。
• 采用多尺度窗口策略：局部上下文使用K^l ∈ {1,3,5}，全局上下文使用K^g ∈ {1,2,4}，以捕捉多样的时空模式。
• 端到端训练完整模型，联合优化MMSA与MCBL模块，以提升语言查询与视频片段之间的对齐效果。

实验结果

研究问题

• RQ1 是否能够通过同时对所有起始-结束帧对进行评分的双线性机制，超越独立回归或排序边界的方法？
• RQ2 局部（相邻帧）与全局（整个视频）上下文如何协同提升时序句子定位中的边界定位性能？
• RQ3 不同特征融合策略（如平均池化与最大池化）对多模态与多上下文特征融合的影响如何？
• RQ4 多模态自注意力模块在生成用于定位的查询引导视频表征方面有多有效？
• RQ5 在使用不同上下文聚合与融合策略时，模型复杂度、推理速度与性能之间的权衡如何？

主要发现

• 完整CBLN模型在ActivityNet Captions上的IoU=0.7时R@1达到27.60%，显著优于先前的最先进方法。
• 在局部-全局聚合模块中移除所有非局部块后，R@1下降2.55%，证明了可学习上下文交互的重要性。
• 将非局部块替换为简单拼接加线性层后，性能下降1.73%，证实了堆叠非局部机制的有效性。
• 在MMSA与MCBL模块中，平均池化融合策略优于最大池化与拼接，所有指标均取得最高性能。
• 同时使用MMSA与MCBL模块的模型在IoU=0.7时R@1达到27.60%，推理速度为0.18秒，GPU显存占用10,184M（批量大小64），在准确率与效率上均优于2D-TAN与CMIN。
• 消融实验表明，使用多尺度（K^l = {1,3,5}，K^g = {1,2,4}）配置相比单尺度配置性能更优，增加更多全局尺度带来的增益有限。