[论文解读] MA-FSAR: Multimodal Adaptation of CLIP for Few-Shot Action Recognition

Jiazheng Xing, Xu, Chao+6 more|arXiv (Cornell University)|Aug 3, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

本文提出 MA-CLIP，一种参数高效的微调方法，通过引入轻量级多模态适配器和文本引导的原型构建模块，将 CLIP 适配于少样本动作识别。在冻结 CLIP 主干网络并仅微调 1854 万个参数的情况下，MA-CLIP 在准确率上达到最先进水平，较单模态基线模型提升 15%，较 CLIP-FSAR 提升 10%，同时将训练时间和显存占用降低 80% 以上。

ABSTRACT

Applying large-scale vision-language pre-trained models like CLIP to few-shot action recognition (FSAR) can significantly enhance both performance and efficiency. While several studies have recognized this advantage, most of them resort to full-parameter fine-tuning to make CLIP's visual encoder adapt to the FSAR data, which not only costs high computations but also overlooks the potential of the visual encoder to engage in temporal modeling and focus on targeted semantics directly. To tackle these issues, we introduce MA-FSAR, a framework that employs the Parameter-Efficient Fine-Tuning (PEFT) technique to enhance the CLIP visual encoder in terms of action-related temporal and semantic representations. Our solution involves a Fine-grained Multimodal Adaptation, which is different from the previous attempts of PEFT in regular action recognition. Specifically, we first insert a Global Temporal Adaptation that only receives the class token to capture global motion cues efficiently. Then these outputs integrate with visual tokens to enhance local temporal dynamics by a Local Multimodal Adaptation, which incorporates text features unique to the FSAR support set branch to highlight fine-grained semantics related to actions. In addition to these token-level designs, we propose a prototype-level text-guided construction module to further enrich the temporal and semantic characteristics of video prototypes. Extensive experiments demonstrate our superior performance in various tasks using minor trainable parameters.

研究动机与目标

• 解决在标注视频数据有限且计算成本高昂的背景下，少样本动作识别的挑战。
• 克服预训练图像模型（如 CLIP）在建模视频额外时序维度方面的局限性。
• 最小化可训练参数数量，以防止过拟合并实现在不同任务间快速高效的迁移学习。
• 利用多模态视频-文本信息，增强时空表征与原型学习能力。
• 开发一种即插即用的框架，兼容多种时间对齐度量方法，适用于少样本动作识别。

提出的方法

• 通过冻结 CLIP 的图像和文本编码器，并添加轻量级适配器实现参数高效的微调（PEFT），以实现视频-文本多模态融合。
• 设计一种基于注意力机制的文本引导原型构建模块，利用文本上下文增强视频原型表征。
• 将适配器集成到 CLIP 的视觉分支中，实现在保留模型泛化能力的同时进行任务特定的时空建模。
• 使用一种多模态适配器，联合处理视频和文本特征，以提升时序建模与特征对齐效果。
• 采用即插即用的设计，支持与任意少样本动作识别度量方法（如 OTAM 或 TRX）集成。
• 仅微调极少量参数（1854 万个）的适配器头，同时保持主干 CLIP 权重冻结，以降低过拟合风险与训练成本。

Figure 1: Performance comparison of different few-shot action recognition methods under the 5-way 1-shot settings on the SSv2-Small dataset, including our MA-CLIP , OTAM [ 3 ] , TRX [ 33 ] , STRM [ 38 ] , HyRSM [ 46 ] , and CLIP-FSAR [ 44 ] . Bubble or star size indicates the recognition accuracy. O

实验结果

研究问题

• RQ1 CLIP 的参数高效微调是否能在最小化可训练参数数量的同时提升少样本动作识别性能？
• RQ2 在低数据场景下，多模态视频-文本信息能否被有效利用以增强时空表征？
• RQ3 在少样本设置中，文本引导的原型构建机制是否能提升视频原型学习效果？
• RQ4 与全量微调或现有基线相比，MA-CLIP 在训练成本和显存使用方面能降低多少？
• RQ5 MA-CLIP 是否无需架构修改即可在不同时间对齐度量方法上实现良好泛化？

主要发现

• 在 SSv2-Small 和 Kinetics 数据集上，MA-CLIP 相较于 ImageNet 预训练的单模态模型至少提升 15% 的准确率，相较 CLIP 预训练的单模态模型提升 10%。
• 在 5 类 1 样本设置下，MA-CLIP 超过 CLIP-FSAR 和其他基线模型，以最少的可调参数量取得最高识别准确率。
• 该方法将可训练参数数量减少至 1854 万个（全量微调的 1/5），在单张 RTX 3090 上将显存占用减少 1.6GB，训练时间缩短 0.4 小时。
• 注意力可视化结果表明，MA-CLIP 更关注与动作相关的物体，同时减少对背景的注意力，表明其时空定位能力得到提升。
• 当仅使用 ImageNet 基线所需任务数量的四分之一进行训练时，MA-CLIP 在 SSv2-Small 上仍实现 15% 的准确率提升，展现出卓越的数据效率。
• 即插即用的设计使 MA-CLIP 能够无缝集成至多种时间对齐度量方法中，在不同设置下均保持强劲性能。

Figure 2: Overview of MA-CLIP . We will focus on a specific scenario for simplicity and convenience: the 5-way 1-shot problem and the query set $\mathcal{Q}$ with a single video. The support set video features $\textbf{F}_{\mathcal{S}}$ and query video feature $\textbf{F}_{\mathcal{Q}}$ are obtained