[论文解读] Few-shot Action Recognition with Captioning Foundation Models

Xiang Wang, Shiwei Zhang+5 more|arXiv (Cornell University)|Oct 16, 2023

Human Pose and Action Recognition被引用 5

一句话总结

该论文提出CapFSAR，一种用于少样本动作识别的即插即用框架，利用预训练的图像字幕基础模型（BLIP）自动生成视频的文本描述，从而在无需人工标注的情况下有效利用多模态知识。通过基于Transformer的视觉-文本聚合模块融合视觉与合成文本特征，CapFSAR在多个基准测试中达到最先进性能，其1-shot准确率相比纯视觉基线最高提升3.4%。

ABSTRACT

Transferring vision-language knowledge from pretrained multimodal foundation models to various downstream tasks is a promising direction. However, most current few-shot action recognition methods are still limited to a single visual modality input due to the high cost of annotating additional textual descriptions. In this paper, we develop an effective plug-and-play framework called CapFSAR to exploit the knowledge of multimodal models without manually annotating text. To be specific, we first utilize a captioning foundation model (i.e., BLIP) to extract visual features and automatically generate associated captions for input videos. Then, we apply a text encoder to the synthetic captions to obtain representative text embeddings. Finally, a visual-text aggregation module based on Transformer is further designed to incorporate cross-modal spatio-temporal complementary information for reliable few-shot matching. In this way, CapFSAR can benefit from powerful multimodal knowledge of pretrained foundation models, yielding more comprehensive classification in the low-shot regime. Extensive experiments on multiple standard few-shot benchmarks demonstrate that the proposed CapFSAR performs favorably against existing methods and achieves state-of-the-art performance. The code will be made publicly available.

研究动机与目标

• 为解决少样本动作识别中标签数据有限的挑战，利用基础模型中的多模态知识。
• 克服视频数据集人工文本标注成本高且不切实际的问题。
• 开发一种即插即用框架，自动为视频生成高质量字幕，以增强视觉表征学习。
• 探究合成文本描述在提升少样本动作识别性能方面的有效性。
• 证明视觉-语言基础模型中的多模态知识可有效迁移至低资源动作识别任务。

提出的方法

• 利用BLIP的视觉编码器从输入视频片段中提取特征。
• 使用BLIP的字幕解码器为每个视频输入生成自然语言描述（合成字幕）。
• 应用文本编码器（如DeBERTa或CLIP）将生成的字幕转换为上下文相关的文本嵌入。
• 引入基于Transformer的视觉-文本聚合模块，建模视觉与文本特征之间的跨模态时空交互。
• 通过学习的注意力机制融合多模态表征，以增强时序感知能力和分类鲁棒性。
• 采用基于度量的元学习范式对端到端框架进行训练，以实现少样本分类。

实验结果

研究问题

• RQ1 能否通过视觉-语言基础模型自动生成的字幕提升少样本动作识别性能？
• RQ2 在低样本学习场景下，将合成文本描述与视觉特征融合的效果如何？
• RQ3 不同文本编码器对多模态少样本识别框架性能的影响是什么？
• RQ4 生成字幕的质量如何影响最终分类准确率？
• RQ5 所提出的框架能否在动作复杂度和视觉特征各异的多样化基准上实现泛化？

主要发现

• CapFSAR在五个标准少样本动作识别基准上达到最先进性能，包括Kinetics和SSv2-Full。
• 在Kinetics数据集上，CapFSAR相比纯视觉基线OTAM†的1-shot准确率提升3.4个百分点（85.8% vs. 82.4%）。
• 在以运动为主的SSv2-Full数据集中，使用DeBERTa作为文本编码器表现最佳；而在以外观为主的Kinetics数据集中，CLIP表现最优。
• 更大的字幕模型和更多的预训练数据可生成更高质量的字幕，从而提升下游识别准确率。
• 定性分析表明，生成的字幕通常包含关键动作动词和物体（如“pushing car”中的“car”），有助于模型聚焦于判别性区域。
• 失败案例主要源于视觉模糊性导致的字幕生成不准确（如将西瓜误认为球），凸显了对字幕质量的依赖性。