[论文解读] Multi-Scale 2D Temporal Adjacent Networks for Moment Localization with Natural Language

Songyang Zhang, Houwen Peng+3 more|arXiv (Cornell University)|Dec 4, 2020

Multimodal Machine Learning Applications参考文献 62被引用 4

一句话总结

本文提出多尺度二维时间邻接网络（MS-2D-TAN），一种基于自然语言查询在未剪辑视频中进行瞬间定位的单阶段框架。通过在二维时间图中建模时间上下文，其中一维表示起始时间，另一维表示时长，该方法捕捉相邻瞬间之间的关系，从而在Charades-STA、ActivityNet Captions和TACoS基准上实现优于当前最先进方法的定位精度。

ABSTRACT

We address the problem of retrieving a specific moment from an untrimmed video by natural language. It is a challenging problem because a target moment may take place in the context of other temporal moments in the untrimmed video. Existing methods cannot tackle this challenge well since they do not fully consider the temporal contexts between temporal moments. In this paper, we model the temporal context between video moments by a set of predefined two-dimensional maps under different temporal scales. For each map, one dimension indicates the starting time of a moment and the other indicates the duration. These 2D temporal maps can cover diverse video moments with different lengths, while representing their adjacent contexts at different temporal scales. Based on the 2D temporal maps, we propose a Multi-Scale Temporal Adjacent Network (MS-2D-TAN), a single-shot framework for moment localization. It is capable of encoding the adjacent temporal contexts at each scale, while learning discriminative features for matching video moments with referring expressions. We evaluate the proposed MS-2D-TAN on three challenging benchmarks, i.e., Charades-STA, ActivityNet Captions, and TACoS, where our MS-2D-TAN outperforms the state of the art.

研究动机与目标

• 为解决基于自然语言查询定位特定视频瞬间的挑战，尤其是在邻近瞬间的上下文信息至关重要时。
• 克服现有两阶段方法的局限性，这些方法将候选瞬间孤立处理，忽略其时间关系。
• 通过在多个时间尺度上使用结构化的二维图建模相邻时间上下文，提升定位精度。
• 通过稀疏多尺度采样候选瞬间，在保持细粒度定位能力的同时降低计算成本。
• 实现具有区分能力的特征学习，以区分语义相似但视觉重叠的瞬间。

提出的方法

• 构建一个二维时间图，其中每个单元表示一个由其起始时间（在某一轴上）和持续时间（在另一轴上）定义的瞬间，时间单位τ决定定位粒度。
• 创建多个具有不同时间单位（例如τ、2τ、4τ）的二维图，形成稀疏多尺度表示，将计算成本从O(N²)降低至O(N)。
• 使用门控卷积层对二维图中的特征进行编码，使网络能够关注相邻瞬间并学习上下文表征。
• 采用单阶段推理策略，直接在二维图上预测瞬间得分，避免生成提议和匹配流水线的需要。
• 整合多尺度图以扩大感受野，捕捉多样的时间范围，增强对不同长度瞬间的鲁棒性。
• 在训练期间采用滑动窗口策略，使用可变窗口大小（N），以确保观察到足够的上下文信息，从而实现有效的特征学习。

实验结果

研究问题

• RQ1 通过二维图建模视频瞬间之间的时间上下文，是否能提升自然语言查询下的瞬间定位精度？
• RQ2 多尺度二维表示是否能在保持或提升定位性能的同时降低计算成本？
• RQ3 基于二维图的单阶段框架是否能优于独立处理候选瞬间的两阶段方法？
• RQ4 感受野大小和卷积核配置如何影响模型区分语义相似瞬间的能力？
• RQ5 候选瞬间数量在多大程度上影响性能？更少的候选锚点是否仍能实现优越结果？

主要发现

• MS-2D-TAN在三个基准测试（Charades-STA、ActivityNet Captions和TACoS）上均达到最先进性能，优于先前方法。
• 尽管使用的锚点数量约为先前SOTA方法CBP的一半，MS-2D-TAN在TACoS上的平均mIoU仍高出5.8%。
• 使用更大的滑动窗口尺寸（N=512个片段，覆盖约96.42%的平均视频长度）的模型性能优于覆盖67.47%或87.57%的较小窗口。
• 增大隐藏状态尺寸可提升性能，且使用CBP 2/3参数量的模型也实现了更优结果。
• 在保持相同感受野的前提下，使用更大卷积核尺寸（如核大小7）且层数更少（如2层）的模型性能优于使用更小核尺寸但层数更多的设置。
• 定性分析表明，该模型对真实瞬间及其语义相似的邻近瞬间均预测出高分，表明其能通过上下文实现有效的区分性特征学习。