[论文解读] Contrastive Language-Action Pre-training for Temporal Localization

Mengmeng Xu, Erhan Gündoğdu+4 more|arXiv (Cornell University)|Apr 26, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出对比语言-动作预训练（CLAP），一种后预训练方法，通过在未剪辑视频上使用掩码对比学习对冻结的视频编码器进行微调，将视觉表征与前景动作和背景片段的语言描述对齐。CLAP 在时间动作定位、少样本时间动作定位和视频语言定位任务上实现了最先进性能，通过在训练过程中不冻结视频编码器来学习跨模态关系。

ABSTRACT

Long-form video understanding requires designing approaches that are able to temporally localize activities or language. End-to-end training for such tasks is limited by the compute device memory constraints and lack of temporal annotations at large-scale. These limitations can be addressed by pre-training on large datasets of temporally trimmed videos supervised by class annotations. Once the video encoder is pre-trained, it is common practice to freeze it during fine-tuning. Therefore, the video encoder does not learn temporal boundaries and unseen classes, causing a domain gap with respect to the downstream tasks. Moreover, using temporally trimmed videos prevents to capture the relations between different action categories and the background context in a video clip which results in limited generalization capacity. To address these limitations, we propose a novel post-pre-training approach without freezing the video encoder which leverages language. We introduce a masked contrastive learning loss to capture visio-linguistic relations between activities, background video clips and language in the form of captions. Our experiments show that the proposed approach improves the state-of-the-art on temporal action localization, few-shot temporal action localization, and video language grounding tasks.

研究动机与目标

• 解决在剪辑视频上预训练与下游时间动作定位任务之间的领域差距。
• 通过引入背景上下文和语言监督，提升长时视频理解的视频表征学习能力。
• 在下游任务中实现对未见动作类别和自由形式语言查询的更好泛化能力。
• 开发一种不冻结视频编码器的后预训练方法，实现视觉-语言关系的端到端适应。
• 通过利用合成和真实字幕进行对比学习，减少对大规模数据集的依赖。

提出的方法

• 在初始动作分类预训练之后引入后预训练阶段，通过对比学习对视频编码器进行端到端微调。
• 同时使用真实视频字幕和从动作标签派生的合成语言模板来描述前景和背景片段。
• 应用一种掩码对比学习损失，从对比目标中排除背景视频-语言对，以避免将语义上相似的片段彼此推开。
• 在共享嵌入空间中对比前景片段、背景片段及其对应语言描述的表征。
• 利用未剪辑视频建模多个片段之间的时序关系，增强长时视频理解能力。
• 在下游评估中采用基于 2D-TAN 的框架，将原始视频编码器替换为经过 CLAP 微调的版本。

实验结果

研究问题

• RQ1 一种不冻结视频编码器的后预训练方法是否能在时间动作定位上超越标准预训练方法？
• RQ2 在预训练中引入背景视频片段和语言描述，是否能提升对未见动作和语言查询的泛化能力？
• RQ3 排除背景对的掩码对比学习是否相比标准对比方法能提升表征学习效果？
• RQ4 CLAP 是否能在有限预训练数据下实现少样本时间动作定位和视频语言定位的最先进性能？
• RQ5 在不同数据集上，使用合成提示与真实字幕的选择如何影响迁移性能？

主要发现

• 在 Charades-STA 数据集上，CLAP 在 IoU@0.5 下达到 49.24 的召回率，优于 2D-TAN（42.8）和 TSP（51.71）的相同设置。
• 在 TACoS 数据集上，CLAP 的平均 IoU 达到 25.70，超过 TSP（24.91）和 2D-TAN（平均 IoU 未提供）。
• CLAP（mask）在 Charades-STA 上于 IoU@0.5 达到 53.14 的召回率，优于 TSP（51.71）和 2D-TAN（47.59）。
• CLAP† 变体（使用合成提示描述前景和背景片段）在 Charades-STA（25.70）和 TACoS（25.70）上均达到最高平均 IoU，表明泛化能力得到提升。
• CLAP 通过学习更优的跨模态对齐和时序上下文建模，提升了少样本时间动作定位性能。
• 该模型展现出强大的零样本泛化能力，能更早正确识别如“跳绳”等动作，表明对活动上下文的语义理解能力得到改善。