[论文解读] Implicit Temporal Modeling with Learnable Alignment for Video Recognition

Shuyuan Tu, Qi Dai+4 more|arXiv (Cornell University)|Apr 20, 2023

Cancer-related molecular mechanisms researchBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出隐式可学习对齐（Implicit Learnable Alignment, ILA），一种用于视频识别的轻量化时序建模方法，通过可学习掩码实现隐式、粗粒度的特征对齐，替代昂贵的时序自注意力机制。通过预测帧对之间的交互点并增强其周围特征，ILA 隐式建模时序依赖关系，在 Kinetics-400 上实现 88.7% 的 top-1 准确率，FLOPs 显著低于 Swin-L 和 ViViT-H。

ABSTRACT

Contrastive language-image pretraining (CLIP) has demonstrated remarkable success in various image tasks. However, how to extend CLIP with effective temporal modeling is still an open and crucial problem. Existing factorized or joint spatial-temporal modeling trades off between the efficiency and performance. While modeling temporal information within straight through tube is widely adopted in literature, we find that simple frame alignment already provides enough essence without temporal attention. To this end, in this paper, we proposed a novel Implicit Learnable Alignment (ILA) method, which minimizes the temporal modeling effort while achieving incredibly high performance. Specifically, for a frame pair, an interactive point is predicted in each frame, serving as a mutual information rich region. By enhancing the features around the interactive point, two frames are implicitly aligned. The aligned features are then pooled into a single token, which is leveraged in the subsequent spatial self-attention. Our method allows eliminating the costly or insufficient temporal self-attention in video. Extensive experiments on benchmarks demonstrate the superiority and generality of our module. Particularly, the proposed ILA achieves a top-1 accuracy of 88.7% on Kinetics-400 with much fewer FLOPs compared with Swin-L and ViViT-H. Code is released at https://github.com/Francis-Rings/ILA .

研究动机与目标

• 为解决将 CLIP 基础的视频识别模型扩展为高效且有效的时序建模方法的挑战。
• 降低对复杂或不足的时序自注意力机制的依赖，这些机制增加了计算成本但未带来成比例的性能提升。
• 探究隐式、粗粒度的帧对齐是否能在无需显式注意力的情况下捕捉关键的动作与运动线索。
• 开发一种与视觉变换器兼容的即插即用模块，以极低的计算开销增强时序建模能力。
• 证明帧间互信息丰富的区域可作为视频识别中强有力的时序信号。

提出的方法

• 使用以帧对为条件的卷积模块，预测每对帧中一个交互点。
• 生成可学习掩码，使交互点周围区域获得更高权重，其余区域权重较低，以突出互信息。
• 将掩码应用于加权并对齐两帧相邻帧的特征，生成粗粒度对齐表示。
• 将对齐后的特征池化为单一互信息令牌，供后续空间自注意力使用。
• 将 ILA 模块集成到视觉变换器的每个空间块中，形成隐式时空（Implicit Spatio-Temporal, IST）块。
• 通过将互信息令牌与其它帧令牌拼接，隐式建模时序关系，无需显式时序注意力。

实验结果

研究问题

• RQ1 隐式、粗粒度的帧对齐是否能在不降低性能的前提下替代 CLIP 基础视频模型中昂贵的时序自注意力？
• RQ2 识别相邻帧之间互信息丰富的区域是否能编码足够的时序信号以支持动作识别？
• RQ3 与帧级或联合注意力等现有时序建模方法相比，所提出的 ILA 方法在效率和准确率方面表现如何？
• RQ4 ILA 的性能在多大程度上依赖于 CLIP 预训练，而非对齐机制本身的设计？
• RQ5 ILA 是否能在不同基准上泛化，并在下游视频理解任务中实现强大的零样本性能？

主要发现

• ILA 在 Kinetics-400 上实现 88.7% 的 top-1 准确率，仅需 40G FLOPs，优于 Swin-L（87.3%）和 ViViT-H（86.7%），且计算成本更低。
• 在 SSv2 的零样本评估中，ILA 实现 43.9% 的 top-1 准确率，分别领先 X-CLIP（38.1%）5.8% 和 EVL（35.2%）8.7%。
• 在无静态偏差的时序理解基准上，ILA 实现 81.9% 的 top-1（T）和 6.1% 的时序得分（TS），优于 X-CLIP（2.3 TS）和 EVL（2.4 TS）。
• 消融实验表明，通过池化和拼接生成的互信息令牌实现 81.3% 的准确率，优于逐元素相加（80.2%）和直接拼接（80.6%）。
• 即使使用 ImageNet-21K 权重初始化，ILA 在 Swin-B/32f 上仍保持 0.6% 的 top-1 准确率优势，证明其内在优越性超越 CLIP 预训练。
• 可视化结果表明，交互点能随时间跟踪运动物体，表明其有效捕捉了动态运动线索。