[论文解读] Fine-tuned CLIP Models are Efficient Video Learners

Hanoona Rasheed, Muhammad Uzair Khattak+3 more|arXiv (Cornell University)|Dec 6, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 ViFi-CLIP，一种简单而有效的基线方法，通过在视频数据上微调 CLIP 的视觉和文本编码器，实现了在零样本、少样本和全监督视频基准上的竞争力表现，且无需添加参数化模块。该方法通过帧级特征聚合与池化隐式建模时间动态，在泛化能力和效率方面优于复杂架构。

ABSTRACT

Large-scale multi-modal training with image-text pairs imparts strong generalization to CLIP model. Since training on a similar scale for videos is infeasible, recent approaches focus on the effective transfer of image-based CLIP to the video domain. In this pursuit, new parametric modules are added to learn temporal information and inter-frame relationships which require meticulous design efforts. Furthermore, when the resulting models are learned on videos, they tend to overfit on the given task distribution and lack in generalization aspect. This begs the following question: How to effectively transfer image-level CLIP representations to videos? In this work, we show that a simple Video Fine-tuned CLIP (ViFi-CLIP) baseline is generally sufficient to bridge the domain gap from images to videos. Our qualitative analysis illustrates that the frame-level processing from CLIP image-encoder followed by feature pooling and similarity matching with corresponding text embeddings helps in implicitly modeling the temporal cues within ViFi-CLIP. Such fine-tuning helps the model to focus on scene dynamics, moving objects and inter-object relationships. For low-data regimes where full fine-tuning is not viable, we propose a `bridge and prompt' approach that first uses fine-tuning to bridge the domain gap and then learns prompts on language and vision side to adapt CLIP representations. We extensively evaluate this simple yet strong baseline on zero-shot, base-to-novel generalization, few-shot and fully supervised settings across five video benchmarks. Our code is available at https://github.com/muzairkhattak/ViFi-CLIP.

研究动机与目标

• 探究是否仅对基于图像的 CLIP 模型进行简单微调，即可有效弥合图像与视频之间的领域差距。
• 解决现有视频适应方法依赖复杂、任务特定模块的局限性，这些模块会阻碍泛化能力。
• 为低数据场景开发一种高效的适应策略，其中完整微调不可行。
• 评估微调后 CLIP 在零样本、少样本以及基类到新类泛化设置下的泛化能力。

提出的方法

• 提出 ViFi-CLIP，一种简单基线方法，通过在 Kinetics-400 等视频数据集上微调 CLIP 的视觉和文本编码器，将图像表征适配至视频任务。
• 采用帧级特征处理，结合时间特征池化与文本嵌入的对比损失，隐式建模帧间关系。
• 引入两阶段“桥接与提示”方法：首先在视频数据上微调 CLIP 以弥合模态差距，然后在视觉和语言分支中使用可学习向量进行视觉-语言（VL）提示学习。
• 在两个编码器的深层应用提示，以捕捉层次化表征，从而在不微调主干网络的前提下提升适应能力。
• 在微调过程中使用对比学习目标，对齐视频与文本嵌入，增强时间与语义对齐。
• 在五项视频基准上评估该方法在零样本、少样本及基类到新类泛化设置下的表现，以评估其鲁棒性与泛化能力。

Figure 1 : This work explores the capability of a simple baseline called ViFi-CLIP (Video Fintuned CLIP) for adapting image pretrained CLIP [ 33 ] to video domain. The figure compares the zero-shot performance of vanilla CLIP and several of its variants adapted for videos (trained on Kinetics-400, e

实验结果

研究问题

• RQ1 是否可以通过对 CLIP 的视觉和文本编码器进行简单微调，有效将基于图像的表征适配至视频任务，且无需添加参数化模块？
• RQ2 对 CLIP 进行完整微调是否会损害其泛化能力，还是能在多样化的视频基准上增强其泛化性能？
• RQ3 在低数据场景下，结合视频微调的 CLIP 主干网络，视觉-语言提示学习的有效性如何？
• RQ4 在性能与效率方面，该简单基线是否能够超越具备专用时间建模组件的复杂架构？

主要发现

• ViFi-CLIP 在 UCF-101 和 HMDB-51 的零样本设置下达到 SOTA 性能，准确率分别为 93.0% 和 95.0%，优于 XCLIP 和 ActionCLIP。
• 在 K=2 的少样本学习中，VL 提示方法在 UCF-101 上达到 95.9% 准确率，在 HMDB-51 上达到 96.4%，分别优于 XCLIP 2.5% 和 2%。
• “桥接与提示”方法在 HMDB-51 基类到新类泛化任务中达到 77.1% 准确率，优于原始 CLIP（53.3%），并匹配 XCLIP（75.8%）等微调模型的表现。
• VL 提示方法仅需 287 GFLOPs 即实现 71.6 吞吐量（TP），在 FLOPs 相近的情况下，优于 ActionCLIP（67.8 TP）和 XCLIP（58.5 TP），效率更优。
• t-SNE 可视化显示，ViFi-CLIP 的嵌入更具可分性，表明其学习到了更优的视频特定归纳偏置。
• 该方法在保持基类强性能的同时，持续提升对新类的泛化能力，展现出在各类迁移设置下的稳健性。

Figure 2 : Frequency plot of K400 [ 19 ] and SSv2 [ 14 ] .