[论文解读] Multi-modal Prompting for Low-Shot Temporal Action Localization

Chen Ju, Zeqian Li+6 more|arXiv (Cornell University)|Mar 21, 2023

Human Pose and Action Recognition被引用 5

一句话总结

该论文提出了一种用于少样本时序动作定位的多模态提示框架，通过利用大型语言模型（LLMs）生成的详细文本描述以及基于RGB和光流特征提取的视觉条件提示向量，增强了开放词汇动作分类能力。通过在共享嵌入空间中对视觉、文本和运动模态进行对齐，该方法实现了最先进性能，在零样本设置下相较于先前方法，于THUMOS14数据集上的mAP提升超过10%。

ABSTRACT

In this paper, we consider the problem of temporal action localization under low-shot (zero-shot & few-shot) scenario, with the goal of detecting and classifying the action instances from arbitrary categories within some untrimmed videos, even not seen at training time. We adopt a Transformer-based two-stage action localization architecture with class-agnostic action proposal, followed by open-vocabulary classification. We make the following contributions. First, to compensate image-text foundation models with temporal motions, we improve category-agnostic action proposal by explicitly aligning embeddings of optical flows, RGB and texts, which has largely been ignored in existing low-shot methods. Second, to improve open-vocabulary action classification, we construct classifiers with strong discriminative power, i.e., avoid lexical ambiguities. To be specific, we propose to prompt the pre-trained CLIP text encoder either with detailed action descriptions (acquired from large-scale language models), or visually-conditioned instance-specific prompt vectors. Third, we conduct thorough experiments and ablation studies on THUMOS14 and ActivityNet1.3, demonstrating the superior performance of our proposed model, outperforming existing state-of-the-art approaches by one significant margin.

研究动机与目标

• 解决开放词汇时序动作定位中的词汇歧义问题，其中类别名称如'击剑'可能对应多个不同的动作。
• 通过使用大型语言模型（LLMs）生成详细且富含属性的文本提示，提升分类器的判别能力。
• 通过从RGB和光流特征中学习视觉提示向量，实现针对实例的特定提示。
• 通过显式对齐RGB、光流和文本模态的嵌入，提升类别无关的动作提议能力。
• 在无需在未见类别上进行训练的情况下，实现在标准基准上的鲁棒零样本和少样本性能。

提出的方法

• 该方法采用两阶段基于Transformer的检测架构，包含类别无关的动作提议，随后进行开放词汇分类。
• 引入一个多模态对齐头，将RGB帧、光流序列和文本嵌入联合嵌入到共享空间中，以提升提议质量。
• 在文本提示方面，使用LLMs通过结构化模板（如“[动作]需要哪些工具？

实验结果

研究问题

• RQ1 LLM生成的属性描述是否能有效解决开放词汇动作分类中的词汇歧义问题？
• RQ2 当难以获取详尽的文本描述时，使用视觉特征的视觉条件提示是否能提升分类器性能？
• RQ3 三模态对齐（RGB、光流、文本）在多大程度上提升了类别无关的动作提议和检测准确率？
• RQ4 该模型在THUMOS14和ActivityNet1.3等标准基准上的零样本和少样本设置下泛化能力如何？
• RQ5 光学流对少样本时序动作定位性能提升的相对贡献有多大？

主要发现

• 所提方法在零样本设置下，于THUMOS14数据集上的mAP相比最先进方法显著提升超过10%。
• 在所有设置下，引入光学流均能持续提升性能，在THUMOS14的零样本场景中增益超过10%。
• 当难以生成全面描述时，视觉条件提示的表现优于纯文本提示方法。
• 使用LLM生成的属性描述（如工具、动作、场景）显著提升了分类器的判别能力，尤其在类别名称存在歧义时效果更明显。
• 即使每个新类别仅有1–2个样本，少样本性能也显著优于零样本基线，表明具备强大的少样本泛化能力。
• 定性结果表明，该模型能稳健检测具有显著时长和动作数量差异的动作，且光学流能有效纠正仅使用RGB输入时的检测错误。