[论文解读] Learning 2D Temporal Adjacent Networks for Moment Localization with Natural Language

Songyang Zhang, Houwen Peng+2 more|arXiv (Cornell University)|Dec 8, 2019

Multimodal Machine Learning Applications参考文献 36被引用 42

一句话总结

该论文提出二维时间相邻网络（2D-TAN），通过在二维起止图上建模时间关系来定位时刻，在Charades-STA、ActivityNet Captions和TACoS上实现最先进的结果，无需额外后处理。

ABSTRACT

We address the problem of retrieving a specific moment from an untrimmed video by a query sentence. This is a challenging problem because a target moment may take place in relations to other temporal moments in the untrimmed video. Existing methods cannot tackle this challenge well since they consider temporal moments individually and neglect the temporal dependencies. In this paper, we model the temporal relations between video moments by a two-dimensional map, where one dimension indicates the starting time of a moment and the other indicates the end time. This 2D temporal map can cover diverse video moments with different lengths, while representing their adjacent relations. Based on the 2D map, we propose a Temporal Adjacent Network (2D-TAN), a single-shot framework for moment localization. It is capable of encoding the adjacent temporal relation, while learning discriminative features for matching video moments with referring expressions. We evaluate the proposed 2D-TAN on three challenging benchmarks, i.e., Charades-STA, ActivityNet Captions, and TACoS, where our 2D-TAN outperforms the state-of-the-art.

研究动机与目标

• 在未裁剪视频中对描述为自然语言的时刻进行定位的动机，并通过改进的上下文建模。
• 提出一种通过二维候选时刻映射来捕捉相邻时间关系的表示。
• 构建一个单阶段网络，直接使用融合后的视频-语言特征对时刻候选进行评分。
• 证明在时刻候选之间进行显式上下文建模能够提升定位精度。

提出的方法

• 用基于 GloVe 嵌入的 3 层 LSTM 表示查询以获得 f^S。
• 通过对剪辑进行池化以形成起止索引 (a,b) 并结合特征 f^V，提取 2D 时间特征映射 F^M，得到 F^M ∈ R^{N x N x d^V}。
• 采用稀疏采样策略选择紧凑的时刻候选集合，由 G(a,b) 控制以减少计算量。
• 通过投影到公共空间并对其应用 Hadamard 乘积结合 Frobenius 归一化来融合视频-语言特征，形式为 F = ||(w^S f^S 1^T) ⊙ (W^M F^M)||_F。
• 通过在 F 上使用 L 层的 2D 卷积时序邻接网络来建模上下文，以捕捉相邻时刻关系。
• 使用来自真值 IoU o_i 的缩放后 IoU 监督 y_i，对 C 个有效候选进行二元交叉熵损失训练。

实验结果

研究问题

• RQ1 二维时间映射能否有效建模自然语言引导的本地化中的候选时刻之间的依赖关系？
• RQ2 对相邻时刻的显式上下文建模是否能提升对视觉上相似候选的区分？
• RQ3 与密集枚举相比，所提出的稀疏候选采样对性能和效率有哪些影响？

主要发现

• 2D-TAN 在 Charades-STA、ActivityNet Captions 和 TACoS 的多项指标上达到与最新方法相近的性能。
• 在 TACoS 上，2D-TAN 在 Rank1@0.5 和 Rank5@0.5 上分别比 ACL-K 和 TGN 高出超过 5 和 14 个点。
• 在大规模的 ActivityNet Captions 数据集上，2D-TAN 在 IoU@0.5 和 IoU@0.7 上超过顶尖方法 CMIN。
• 通过更深或更大的卷积核获得更大的感受野可提升性能，并在视野足够大时趋于饱和。
• 稀疏采样在降低候选数量的同时保持与密集枚举相当的性能，从而提高效率。
• 与滑动窗口方法相比，2D-TAN 有利于对时刻候选之间的时间依赖关系进行建模，而不是将它们独立处理。