[论文解读] Expanding Language-Image Pretrained Models for General Video Recognition

Bolin Ni, Houwen Peng+6 more|arXiv (Cornell University)|Aug 4, 2022

Multimodal Machine Learning Applications被引用 16

一句话总结

本文提出 X-CLIP，一种将预训练的图文模型（如 CLIP 和 Florence）适配至通用视频识别任务的方法，通过引入轻量级跨帧注意力机制进行时序建模，并采用可学习的视频专用提示生成方案。该方法在零样本（相比 SOTA 提升 14.9% 的 top-1 准确率）、少样本（提升 32.1%）以及全监督（Kinetics-400 上达到 87.1% 的 top-1 准确率）设置下均取得最先进性能，且参数量仅为 ViViT-H 的 1/12。

ABSTRACT

Contrastive language-image pretraining has shown great success in learning visual-textual joint representation from web-scale data, demonstrating remarkable "zero-shot" generalization ability for various image tasks. However, how to effectively expand such new language-image pretraining methods to video domains is still an open problem. In this work, we present a simple yet effective approach that adapts the pretrained language-image models to video recognition directly, instead of pretraining a new model from scratch. More concretely, to capture the long-range dependencies of frames along the temporal dimension, we propose a cross-frame attention mechanism that explicitly exchanges information across frames. Such module is lightweight and can be plugged into pretrained language-image models seamlessly. Moreover, we propose a video-specific prompting scheme, which leverages video content information for generating discriminative textual prompts. Extensive experiments demonstrate that our approach is effective and can be generalized to different video recognition scenarios. In particular, under fully-supervised settings, our approach achieves a top-1 accuracy of 87.1% on Kinectics-400, while using 12 times fewer FLOPs compared with Swin-L and ViViT-H. In zero-shot experiments, our approach surpasses the current state-of-the-art methods by +7.6% and +14.9% in terms of top-1 accuracy under two popular protocols. In few-shot scenarios, our approach outperforms previous best methods by +32.1% and +23.1% when the labeled data is extremely limited. Code and models are available at https://aka.ms/X-CLIP

研究动机与目标

• 将预训练的图文模型适配至视频识别任务，而无需从头开始训练。
• 解决使用轻量级、即插即用模块建模视频中长程时序依赖关系的挑战。
• 通过融合视频内容信息生成更具判别性的文本提示，以提升零样本与少样本场景下的泛化能力。
• 实现对多样化视频识别场景的有效迁移：零样本、少样本与全监督设置。

提出的方法

• 引入一种跨帧通信 Transformer，利用消息令牌实现帧间显式信息交换，同时保留帧级别的表征。
• 采用多帧融合 Transformer，将帧级别的特征聚合为统一的视频级别表征。
• 提出一种可学习的视频专用提示机制，结合语义标签与视频内容特征，生成自适应、高判别性的文本提示。
• 在训练与推理阶段采用稀疏采样策略，其性能优于密集采样，且在不同视图数量下均保持鲁棒性。
• 应用多视图推理以提升性能，尤其在零样本与少样本设置下，充分利用预训练图文编码器的鲁棒性。
• 支持图像与文本编码器的端到端微调，消融实验表明在零样本与全监督设置下，同时微调两者可获得最佳性能。

实验结果

研究问题

• RQ1 预训练的图文模型能否在无需完整微调的情况下有效适配至视频识别任务？
• RQ2 如何通过轻量级、即插即用模块高效建模视频帧之间的时序依赖关系？
• RQ3 是否可通过视频内容感知的提示生成提升零样本与少样本视频识别中文本表征的判别能力？
• RQ4 在该框架中，最优的采样策略（密集 vs. 稀疏）是什么？
• RQ5 在零样本、少样本与全监督设置下，不同微调策略（冻结图像编码器 vs. 文本编码器）对性能有何影响？

主要发现

• 在全监督训练下，X-CLIP 在 Kinetics-400 上达到 87.1% 的 top-1 准确率，优于 ViViT-H 的 2.3%，且仅使用其 1/12 的 FLOPs。
• 在零样本评估中，X-Florence 在两种标准协议下分别优于 ActionCLIP 7.6% 和 14.9%。
• 在极少数标注数据的少样本学习场景下，X-CLIP 相较于之前最优方法，准确率分别提升 32.1% 和 23.1%。
• 所提出的视频专用提示机制相比 CLIP-Mean 基线提升 2.3%，证明其在生成判别性文本提示方面的有效性。
• 训练与推理阶段采用稀疏采样始终优于密集采样；单视图推理即可达到与 10 视图推理相当的性能，归因于其鲁棒的表征能力。
• 在零样本设置下，同时微调图像与文本编码器可获得最佳结果；而在少样本设置下，仅微调文本编码器表现最佳，表明在数据有限时文本编码器具有更低的过拟合风险。