[论文解读] Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos

Xiaoye Qu, Pengwei Tang+4 more|arXiv (Cornell University)|Aug 6, 2020

Multimodal Machine Learning Applications参考文献 43被引用 13

一句话总结

该论文提出了一种用于视频中时序语言定位的细粒度迭代注意力网络（FIAN），通过双向、细粒度的跨模态注意力机制，实现视频与查询表征的联合优化。FIAN在三个基准数据集上达到最先进性能，通过内容导向的定位策略和新颖的跨模态引导注意力机制，显著超越了先前方法。

ABSTRACT

Temporal language localization in videos aims to ground one video segment in an untrimmed video based on a given sentence query. To tackle this task, designing an effective model to extract ground-ing information from both visual and textual modalities is crucial. However, most previous attempts in this field only focus on unidirectional interactions from video to query, which emphasizes which words to listen and attends to sentence information via vanilla soft attention, but clues from query-by-video interactions implying where to look are not taken into consideration. In this paper, we propose a Fine-grained Iterative Attention Network (FIAN) that consists of an iterative attention module for bilateral query-video in-formation extraction. Specifically, in the iterative attention module, each word in the query is first enhanced by attending to each frame in the video through fine-grained attention, then video iteratively attends to the integrated query. Finally, both video and query information is utilized to provide robust cross-modal representation for further moment localization. In addition, to better predict the target segment, we propose a content-oriented localization strategy instead of applying recent anchor-based localization. We evaluate the proposed method on three challenging public benchmarks: Ac-tivityNet Captions, TACoS, and Charades-STA. FIAN significantly outperforms the state-of-the-art approaches.

研究动机与目标

• 为解决现有模型中单向注意力机制仅从视频关注查询的局限性，避免遗漏关键的查询到视频的线索。
• 通过捕捉视频帧与查询词之间的细粒度、双向交互，提升跨模态表征质量。
• 通过用内容导向的定位策略替代基于锚点的回归方法，提升定位精度。
• 设计一种对称的迭代注意力机制，交替优化视频感知与查询感知的表征。
• 通过在多个公开基准上的消融实验，验证各模块的有效性。

提出的方法

• 提出一种跨模态引导注意力（CGA）模块，在多个特征空间中执行多头注意力，以捕捉细粒度的视频-查询交互。
• 采用对称的迭代注意力模块，使视频与查询在交替步骤中相互关注，以优化表征。
• 引入一种跨模态编码器，迭代生成句子感知的视频表征与视频感知的句子表征。
• 使用滤波控制的融合机制，将来自两种模态的注意力特征整合为鲁棒的跨模态表征。
• 应用一种内容导向的定位模块，直接回归时刻边界，无需依赖锚点提议。
• 采用多阶段优化过程，每轮迭代均增强文本查询与相关视频片段之间的对齐。

实验结果

研究问题

• RQ1 视频与文本之间的迭代、双向注意力是否能提升时序语言定位中的定位准确率？
• RQ2 引入视频感知的句子表征是否能提升句子感知的视频表征质量？
• RQ3 与基于锚点的方法相比，所提出的面向内容的定位策略在边界预测准确率方面表现如何？
• RQ4 与标准软注意力相比，跨模态引导注意力模块在建模细粒度交互方面的贡献是什么？
• RQ5 不同的融合策略（拼接、矩阵运算）如何影响模型的最终性能？

主要发现

• FIAN在所有三个基准数据集（ActivityNet Captions、TACoS、Charades-STA）上均达到最先进性能，显著超越先前方法。
• 在TACoS数据集上，FIAN在IoU=0.5时达到Rank@1为44.8%和Rank@5为76.1%，显著优于之前的SOTA方法。
• 消融实验表明，带有信息门控的CGA模块相比标准软注意力，使Rank@1（IoU=0.5）提升1.51%。
• 采用对称迭代注意力的完整FIAN模型优于单分支变体（如FIAN-VQMA和FIAN-QVMA），证明了相互优化的优势。
• 将定位模块替换为TGN或CMIN组件会导致性能下降，证实了所提定位策略的优越性。
• 使用stride=1/8θk的最优候选采样策略可获得最佳R@1性能，而密集采样（stride=1）因模糊性反而损害学习效果。