[论文解读] To Find Where You Talk: Temporal Sentence Localization in Video with Attention Based Location Regression

Yitian Yuan, Tao Mei+1 more|arXiv (Cornell University)|Apr 19, 2018

Multimodal Machine Learning Applications参考文献 26被引用 27

一句话总结

本文提出了一种端到端的基于注意力的定位回归（ABLR）模型，用于未剪辑视频中的时序句子定位，通过双向LSTM和多模态协同注意力机制，保留视频的全局上下文并突出句子特定的线索，实现对时间边界的精确高效回归。ABLR在ActivityNet Captions数据集上相较于最佳基线方法实现了43.4%的相对性能提升，且推理速度比先前方法快15倍。

ABSTRACT

Given an untrimmed video and a sentence description, temporal sentence localization aims to automatically determine the start and end points of the described sentence within the video. The problem is challenging as it needs the understanding of both video and sentence. Existing research predominantly employs a costly "scan and localize" framework, neglecting the global video context and the specific details within sentences which play as critical issues for this problem. In this paper, we propose a novel Attention Based Location Regression (ABLR) approach to solve the temporal sentence localization from a global perspective. Specifically, to preserve the context information, ABLR first encodes both video and sentence via Bidirectional LSTM networks. Then, a multi-modal co-attention mechanism is introduced to generate not only video attention which reflects the global video structure, but also sentence attention which highlights the crucial details for temporal localization. Finally, a novel attention based location regression network is designed to predict the temporal coordinates of sentence query from the previous attention. ABLR is jointly trained in an end-to-end manner. Comprehensive experiments on ActivityNet Captions and TACoS datasets demonstrate both the effectiveness and the efficiency of the proposed ABLR approach.

研究动机与目标

• 为解决在未剪辑视频中定位自然语言句子的挑战，通过直接预测时间边界而非依赖滑动窗口采样。
• 在定位过程中保留视频的全局时间结构，并维持整个序列的上下文信息。
• 通过多模态协同注意力机制，聚焦于句子查询中的语义关键短语，以提升定位精度。
• 通过避免密集的片段采样，实现单次遍历视频编码，从而提升计算效率。

提出的方法

• 使用双向LSTM对视频片段特征和句子词序列进行编码，捕捉前向和后向的上下文信息。
• 多模态协同注意力机制通过建模跨模态交互，生成视频注意力（反映全局结构）和句子注意力（突出关键短语）。
• 视频注意力源自句子查询与视频片段之间的对齐，编码全局时间依赖关系。
• 句子注意力强调语义相关的词语或短语，以引导精确的定位。
• 基于注意力的定位预测网络直接从协同注意力特征回归起始和结束时间戳，避免后续处理。
• 整个模型端到端训练，联合优化特征编码、注意力学习和边界回归。

实验结果

研究问题

• RQ1 端到端模型是否能通过避免片段处理的碎片化，超越传统的‘扫描并定位’方法？
• RQ2 多模态协同注意力在聚焦句子特定线索的同时，能否有效保留视频的全局上下文？
• RQ3 与基于特征匹配的基线方法相比，基于注意力的回归在多大程度上提升了定位精度？
• RQ4 当应用于长时未剪辑视频时，该方法在效率方面表现如何？
• RQ5 为何ABLR在ActivityNet Captions上表现更优，但在TACoS上于更高IoU阈值下表现不佳？

主要发现

• 在IoU=0.5时，ABLR在ActivityNet Captions数据集上相较于最佳基线（ACRN）实现了43.4%的平均平均精度相对提升。
• 在TACoS上，ABLR在IoU阈值为0.3和0.4时的R@1优于ACRN，但在IoU=0.5时表现较差，原因在于相似场景视频中注意力分布更平缓。
• ABLR full-aw变体（基于注意力权重的回归）在ActivityNet Captions上表现更优，而ABLR full-af变体（基于特征的回归）在TACoS上更优，表明在模糊场景中输入的可区分性至关重要。
• ABLR将ActivityNet Captions的平均推理时间降低至每句0.02秒，TACoS为0.15秒，相比ACRN提速15倍，相比MCN和CTRL提速4至15倍。
• 该模型的高效性源于仅对每段视频处理两次——一次用于编码，一次用于回归——避免了密集片段采样带来的冗余计算。
• 消融实验表明，视频和句子的协同注意力均不可或缺，任一移除均导致性能显著下降。