[论文解读] Exploiting Temporal Relationships in Video Moment Localization with Natural Language

Songyang Zhang, Jinsong Su+1 more|arXiv (Cornell University)|Aug 11, 2019

Multimodal Machine Learning Applications参考文献 29被引用 7

一句话总结

该论文提出了一种时间组成模块化网络（TCMN）用于视频时刻定位，通过树注意力机制将自然语言查询分解为主事件、上下文事件和时间信号，显式建模时间关系。该方法采用独立的视觉相似度匹配与位置相似度匹配模块，并通过使用RGB和光流特征的四种模型集成来处理模态不一致性，在TEMPO数据集上实现了最先进性能。

ABSTRACT

We address the problem of video moment localization with natural language, i.e. localizing a video segment described by a natural language sentence. While most prior work focuses on grounding the query as a whole, temporal dependencies and reasoning between events within the text are not fully considered. In this paper, we propose a novel Temporal Compositional Modular Network (TCMN) where a tree attention network first automatically decomposes a sentence into three descriptions with respect to the main event, context event and temporal signal. Two modules are then utilized to measure the visual similarity and location similarity between each segment and the decomposed descriptions. Moreover, since the main event and context event may rely on different modalities (RGB or optical flow), we use late fusion to form an ensemble of four models, where each model is independently trained by one combination of the visual input. Experiments show that our model outperforms the state-of-the-art methods on the TEMPO dataset.

研究动机与目标

• 解决先前研究在视频时刻定位中忽视自然语言查询内时间关系的局限性。
• 通过将查询解析为主要内容事件、上下文事件和时间信号组件，建模时间语言的组合结构。
• 通过分离视觉相似度（用于事件）与位置相似度（用于时间信号），提升跨模态匹配性能。
• 通过使用在不同视觉输入组合上训练的四个模型的集成，缓解视频特征中的模态不一致性问题（即不同事件可能依赖RGB或光流特征）。
• 证明结构化解析时间语言可显著提升复杂查询下的性能，优于序列注意力方法。

提出的方法

• 使用树注意力网络将输入句子解析为三个组成部分：主要内容事件、上下文事件和时间信号，生成相应的短语嵌入。
• 两个独立模块计算匹配分数：定位模块用于事件嵌入与视频片段之间的视觉相似度匹配，关系模块用于时间信号嵌入与片段边界之间的位置相似度匹配。
• 通过晚期融合结合四个独立训练的模型，每个模型使用不同的视觉输入组合：(RGB, RGB)、(RGB, Flow)、(Flow, RGB) 和 (Flow, Flow)。
• 视觉相似度模块使用基于注意力的跨模态匹配方法，将主要内容事件和上下文事件的短语嵌入与视频特征进行匹配。
• 位置相似度模块将时间信号嵌入（如“before”、“after”）与视频片段的时间边界进行匹配。
• 最终预测通过将两个模块的输出相加，并使用四个视觉输入流的加权集成来提升鲁棒性获得。

实验结果

研究问题

• RQ1 与序列注意力相比，将时间语言结构化地解析为事件与信号组件是否能提升视频时刻定位的准确性？
• RQ2 将视觉相似度（用于事件）与位置相似度（用于时间信号）分离，是否能带来性能提升？
• RQ3 在不同模态（RGB与光流）上训练的模型集成，能否有效缓解视频时刻定位中的模态不一致性问题？
• RQ4 所提出的树注意力机制与标准的基于LSTM的序列注意力相比，在处理复杂时间查询时表现如何？
• RQ5 TCMN的各个独立组件（如关系模块、注意力机制）对最终性能的贡献程度如何？

主要发现

• 所提出的TCMN模型在TEMPO数据集上实现了最先进性能，优于现有方法（包括MLLC和MLLC+conTEF）。
• 关系模块（用于建模时间信号相似度）对性能贡献显著，加入后性能有大幅提高。
• 使用(Flow, Flow)输入的模型在单流设置中表现最佳，表明运动特征对涉及运动或镜头移动的查询至关重要。
• 完整集成模型（结合所有四种视觉输入组合）优于仅使用两路输入的模型，证明RGB与光流特征具有互补性。
• 即使参数量更少（16.5M），'Ensemble TCMN (Small)'模型仍优于SOTA模型'MLLC+conTEF'（17M参数），表明性能提升源于网络架构设计，而非参数数量。
• 树注意力机制在复杂句子上的表现优于基于LSTM的序列注意力，可能得益于其对时间语言中结构关系的编码能力。