[论文解读] MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Long-Term Video Recognition

Chao-Yuan Wu, Yanghao Li+5 more|arXiv (Cornell University)|Jan 20, 2022

Human Pose and Action Recognition被引用 9

一句话总结

MeMViT 提出了一种基于记忆增强的多尺度视觉Transformer，通过在帧间缓存并重用时间上下文，实现了高效的长期视频识别，相较于以往模型将时间支持扩展了30倍，仅增加了4.5%的计算量。它通过在缓存的键和值上使用分层自注意力机制，并结合联合记忆压缩模块以提升效率，在AVA、EPIC-Kitchens-100和动作预测基准上均优于现有方法。

ABSTRACT

While today's video recognition systems parse snapshots or short clips accurately, they cannot connect the dots and reason across a longer range of time yet. Most existing video architectures can only process <5 seconds of a video without hitting the computation or memory bottlenecks. In this paper, we propose a new strategy to overcome this challenge. Instead of trying to process more frames at once like most existing methods, we propose to process videos in an online fashion and cache "memory" at each iteration. Through the memory, the model can reference prior context for long-term modeling, with only a marginal cost. Based on this idea, we build MeMViT, a Memory-augmented Multiscale Vision Transformer, that has a temporal support 30x longer than existing models with only 4.5% more compute; traditional methods need >3,000% more compute to do the same. On a wide range of settings, the increased temporal support enabled by MeMViT brings large gains in recognition accuracy consistently. MeMViT obtains state-of-the-art results on the AVA, EPIC-Kitchens-100 action classification, and action anticipation datasets. Code and models are available at https://github.com/facebookresearch/memvit.

研究动机与目标

• 实现超越当前模型5秒限制的高效长期视频理解。
• 通过避免对整个长序列进行联合处理，解决处理长视频时的计算与内存瓶颈。
• 开发一种基于记忆的机制，实现对先前上下文的在线、增量式视频建模。
• 在不显著增加计算成本的前提下，提升长距离动作理解任务的识别准确率。
• 实现端到端训练，配备压缩记忆模块，仅保留显著的长距离线索。

提出的方法

• MeMViT 以在线方式处理视频，将先前片段的键和值作为‘记忆’进行缓存，用于自注意力机制。
• 在每个推理步骤中，查询同时关注当前帧的标记以及先前缓存的键/值，从而随时间扩展模型的有效感受野。
• 采用沿时间、高度和宽度维度分解的相对位置嵌入，相比全张量方法显著降低内存开销。
• 通过端到端训练的联合记忆压缩模块，仅保留来自先前帧中最具信息量的特征，最大限度减少内存占用。
• 该架构基于MViT构建，具备多尺度特征层次结构，并通过因果注意力和池化操作改进为长距离建模，确保自回归一致性。
• 采用渐进式预训练策略，逐步将视频长度从单个片段增加到完整的10秒视频，以稳定学习过程并提升泛化能力。

实验结果

研究问题

• RQ1 视频模型是否能在不按比例增加计算或内存使用的情况下，实现显著更长的有效时间上下文？
• RQ2 缓存并重用先前帧的注意力键和值，如何提升长期动作识别的准确率？
• RQ3 基于记忆增强的设计是否能超越标准视频Transformer（后者在单次前向传播中处理长序列）？
• RQ4 联合记忆压缩模块在多大程度上可减少内存开销，同时保持长距离视频任务的性能？
• RQ5 通过记忆访问实现的在线、增量式处理，是否能带来在长时程视频理解基准上的更好泛化性和鲁棒性？

主要发现

• MeMViT 在仅增加4.5%计算量的前提下，实现了比现有模型长30倍的时间支持，而传统方法实现同等性能提升需增加超过3,000%的计算量。
• 在AVA数据集上，MeMViT 在时空动作定位任务中达到SOTA性能，展现出更强的长距离推理能力。
• 在EPIC-Kitchens-100数据集上，MeMViT 在动作分类与动作预测任务中均取得新的SOTA结果，显著优于短期基线模型。
• 消融实验表明，在分类器前添加一个Transformer层可使mAP从27.0提升至27.0，而使用全帧特征则使mAP提升至26.6。
• MeMViT的因果变体成功实现了动作预测而无未来信息泄露，其在EPIC-Kitchens-100预测基准上表现强劲。
• 渐进式预训练有助于模型收敛与性能提升，尤其在训练初期阶段，通过逐步暴露模型于更长的视频片段实现。