[论文解读] LocVTP: Video-Text Pre-training for Temporal Localization

Meng Cao, Tianyu Yang+4 more|arXiv (Cornell University)|Jul 21, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 LocVTP，一种专为时序定位任务设计的视频-文本预训练框架。它通过细粒度的片段-词语对比学习增强特征对齐，并通过上下文投影头和时序感知对比损失提升时序推理能力，在六个数据集上的基于检索和基于定位的下游任务中均取得了最先进性能。

ABSTRACT

Video-Text Pre-training (VTP) aims to learn transferable representations for various downstream tasks from large-scale web videos. To date, almost all existing VTP methods are limited to retrieval-based downstream tasks, e.g., video retrieval, whereas their transfer potentials on localization-based tasks, e.g., temporal grounding, are under-explored. In this paper, we experimentally analyze and demonstrate the incompatibility of current VTP methods with localization tasks, and propose a novel Localization-oriented Video-Text Pre-training framework, dubbed as LocVTP. Specifically, we perform the fine-grained contrastive alignment as a complement to the coarse-grained one by a clip-word correspondence discovery scheme. To further enhance the temporal reasoning ability of the learned feature, we propose a context projection head and a temporal aware contrastive loss to perceive the contextual relationships. Extensive experiments on four downstream tasks across six datasets demonstrate that our LocVTP achieves state-of-the-art performance on both retrieval-based and localization-based tasks. Furthermore, we conduct comprehensive ablation studies and thorough analyses to explore the optimum model designs and training strategies.

研究动机与目标

• 为解决现有视频-文本预训练（VTP）方法在基于定位的任务（如时序定位）中迁移能力差的问题。
• 识别在定位任务中表现不佳的根本原因，特别是缺乏细粒度对齐与时序推理能力。
• 设计一种新型VTP框架，通过改进跨模态对齐与时序建模，明确支持片段级与帧级定位。
• 通过广泛的消融研究与下游评估，验证所提组件的有效性。

提出的方法

• 提出两阶段对比学习策略：首先进行粗粒度的视频-句子对齐，然后利用潜在空间中的相似度分数进行细粒度的片段-词语对齐。
• 提出一种片段-词语对应关系发现方案，通过选择高相似度对作为正样本，无需人工标注。
• 设计一种上下文投影头，利用可学习偏置向量与时序距离，将上下文片段特征映射到参考片段。
• 采用时序感知对比损失，在保持跨模态对齐的同时，强制映射后的特征与原始查询特征保持接近。
• 采用双分支架构，配备独立的视频与文本编码器，随后通过交叉注意力融合实现联合表征学习。
• 在自监督掩蔽任务中应用上下文扭曲头，以增强时序推理能力，且无需额外监督信号。

实验结果

研究问题

• RQ1 为何现有视频-文本预训练方法在基于定位的任务（如时序定位）中表现不佳？
• RQ2 细粒度的片段-词语对齐能否提升预训练特征在定位任务中的性能？
• RQ3 通过特征扭曲引入时序上下文感知，是否能增强模型对动作序列的推理能力？
• RQ4 在范围与方向方面，上下文投影头与时序偏置的最优设计为何？
• RQ5 与标准对比损失相比，所提出的时序感知对比损失在提升定位准确率方面表现如何？

主要发现

• LocVTP 在六个数据集上的基于检索与基于定位的下游任务中均达到最先进性能，超越了如 MIL-NCE 和 UniVL 等现有 VTP 方法。
• 在 ActivityNet Captions 数据集上，LocVTP 在时序定位任务中达到 R@1 为 58.3%，显著优于基线方法 MIL-NCE。
• 消融研究显示，若移除上下文投影头或时序感知对比损失，性能将下降，证实二者不可或缺。
• 最优最大偏置距离 δ_max 确定为 4，因过小或过大的值会导致上下文建模不足或过度，从而降低性能。
• 时序感知对比损失中的跨模态约束优于同模态变体，证明在特征扭曲过程中保持跨模态对齐至关重要。
• 可视化与 UMAP 结果表明，LocVTP 学习到的表征更具可分性与局部性，且投影后的特征在相似度分布上与参考特征高度匹配。