[论文解读] EZ-CLIP: Efficient Zeroshot Video Action Recognition

Shahzad Ahmad, Sukalpa Chanda+1 more|arXiv (Cornell University)|Dec 13, 2023

Human Pose and Action Recognition被引用 4

一句话总结

EZ-CLIP 提出了一种计算高效的 CLIP 改进方法，用于零样本视频动作识别，通过时间视觉提示和运动感知损失，在仅使用 520 万个可学习参数（单张 GPU 上训练）的情况下实现了最先进性能，同时保持了 CLIP 的泛化能力，并在多个基准测试中优于先前方法。

ABSTRACT

Recent advancements in large-scale pre-training of visual-language models on paired image-text data have demonstrated impressive generalization capabilities for zero-shot tasks. Building on this success, efforts have been made to adapt these image-based visual-language models, such as CLIP, for videos extending their zero-shot capabilities to the video domain. While these adaptations have shown promising results, they come at a significant computational cost and struggle with effectively modeling the crucial temporal aspects inherent to the video domain. In this study, we present EZ-CLIP, a simple and efficient adaptation of CLIP that addresses these challenges. EZ-CLIP leverages temporal visual prompting for seamless temporal adaptation, requiring no fundamental alterations to the core CLIP architecture while preserving its remarkable generalization abilities. Moreover, we introduce a novel learning objective that guides the temporal visual prompts to focus on capturing motion, thereby enhancing its learning capabilities from video data. We conducted extensive experiments on five different benchmark datasets, thoroughly evaluating EZ-CLIP for zero-shot learning and base-to-novel video action recognition, and also demonstrating its potential for few-shot generalization.Impressively, with a mere 5.2 million learnable parameters (as opposed to the 71.1 million in the prior best model), EZ-CLIP can be efficiently trained on a single GPU, outperforming existing approaches in several evaluations.

研究动机与目标

• 解决现有 CLIP 改进方法在视频动作识别中计算成本高且时间建模能力差的问题。
• 在不牺牲 CLIP 强大零样本泛化能力的前提下，实现有效的时空表征学习。
• 开发一种轻量化、参数高效的策略，将基于图像的视觉-语言模型适配到视频任务中，而无需微调主干网络。
• 通过一种新颖的运动约束损失，增强模型对视频中运动线索的建模能力。
• 在多样化数据集上，展示模型在零样本、基类到新类以及少样本视频动作识别中的稳健性能。

提出的方法

• 引入时间视觉提示——可学习嵌入向量注入 CLIP 的输入空间——以建模视频帧之间的时序依赖关系。
• 在推理过程中通过关注帧级特征来应用提示，实现仅用极少参数的端到端时序动态学习。
• 提出一种运动损失，通过比较帧间特征图，促使模型聚焦于与运动相关的区域。
• 在视频和文本嵌入之间使用对比学习目标，提示引导时序注意力，而不更新原始 CLIP 主干网络。
• 仅通过时间视觉提示和运动损失进行端到端训练，保持原始 CLIP 视觉和文本编码器冻结。
• 利用大语言模型生成的动作描述作为文本提示，以提升零样本设置中文本嵌入的泛化能力。

实验结果

研究问题

• RQ1 是否可以通过极简、参数高效的 CLIP 改进方法，在不微调主干网络的前提下，实现强大的零样本视频动作识别性能？
• RQ2 时间视觉提示在仅使用极少可学习参数的情况下，能否有效建模视频中的长程时序依赖？
• RQ3 与标准对比学习相比，运动感知损失在多大程度上提升了模型捕捉视频中运动线索的能力？
• RQ4 EZ-CLIP 在基类到新类动作识别任务中表现如何，特别是在像 Something-Something-v2 这类高运动强度的数据集上？
• RQ5 在保持高性能的同时，模型能否在高吞吐量和低 FLOPs 下运行，优于现有的基于 CLIP 的视频适配方法？

主要发现

• EZ-CLIP 仅使用 520 万个可调参数，就在 UCF-101（95.9% top-1）、HMDB-51（79.8% top-1）和 Something-Something-v2（54.0% top-1）上实现了最先进零样本准确率。
• 在具有挑战性的 SSv2 数据集上，EZ-CLIP 在基类到新类评估中达到 54.0% 的 top-1 准确率，显著优于先前方法，且参数更少、吞吐量更高。
• 在单张 A100 GPU 上，模型的吞吐量达到 322.4（TP），优于 ViFi-CLIP（71.1 TP）和 ActionCLIP（67.7 TP）等方法，效率更高。
• 运动损失使注意力更集中于运动区域：可视化显示 EZ-CLIP 聚焦于运动物体，而基线 CLIP 模型则关注背景和外观。
• 大语言模型生成的动作描述提升了文本嵌入的泛化能力，在零样本设置下使 HMDB-51 准确率提升最高达 2.5%，UCF-101 提升达 11%。
• t-SNE 可视化结果表明，与基线模型相比，EZ-CLIP 学习到了更清晰分离的特征表示，尤其在依赖运动的动作（如“将某物放上表面”）上表现更优。