[论文解读] HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training

Qinghao Ye, Guohai Xu+5 more|arXiv (Cornell University)|Dec 30, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

HiTeA 提出了一种分层时间感知的视频-语言预训练框架，通过两种新颖的预训练任务——跨模态时刻探索（CME）和多模态时间关系探索（MTRE），增强了对视频-语言理解的能力，特别是在建模细粒度时刻表征和时间关系方面。该方法在多个基准上达到最先进性能，尤其在以时间为导向的基准如 SSv2-Template（+8.6%）和 SSv2-Label（+11.1%）上表现突出，展现出强大的零样本泛化能力与改进的时间建模能力。

ABSTRACT

Video-language pre-training has advanced the performance of various downstream video-language tasks. However, most previous methods directly inherit or adapt typical image-language pre-training paradigms to video-language pre-training, thus not fully exploiting the unique characteristic of video, i.e., temporal. In this paper, we propose a Hierarchical Temporal-Aware video-language pre-training framework, HiTeA, with two novel pre-training tasks for modeling cross-modal alignment between moments and texts as well as the temporal relations of video-text pairs. Specifically, we propose a cross-modal moment exploration task to explore moments in videos, which results in detailed video moment representation. Besides, the inherent temporal relations are captured by aligning video-text pairs as a whole in different time resolutions with multi-modal temporal relation exploration task. Furthermore, we introduce the shuffling test to evaluate the temporal reliance of datasets and video-language pre-training models. We achieve state-of-the-art results on 15 well-established video-language understanding and generation tasks, especially on temporal-oriented datasets (e.g., SSv2-Template and SSv2-Label) with 8.6% and 11.1% improvement respectively. HiTeA also demonstrates strong generalization ability when directly transferred to downstream tasks in a zero-shot manner. Models and demo will be available on ModelScope.

研究动机与目标

• 为解决现有视频-语言预训练方法将视频整体处理、难以建模细粒度时间细节与关系的局限性。
• 通过在不同时间分辨率下引入视频的分层视图，提升视频时刻与文本之间的跨模态对齐能力。
• 捕捉视频时刻与其对应文本描述之间的隐式时间依赖关系。
• 通过一种新颖的时间打乱测试，评估数据集和模型对时间依赖性的依赖程度。
• 通过统一的、分层时间感知的预训练框架，同时提升视频-语言理解与生成能力。

提出的方法

• HiTeA 在不同时间分辨率下生成长视图和短视图的视频片段，以构建输入视频的分层表征。
• 跨模态时刻探索（CME）任务在共享嵌入空间中对齐短视图视频表征与相关文本短语，使用正样本和难负样本的词-视频对。
• 多模态时间关系探索（MTRE）任务在短视图视频（由相关词语引导）与长视图视频（由文本引导）之间进行多模态对齐，捕捉跨视图的时间关系。
• 该框架采用双分支架构，视频与文本分别使用独立编码器，随后通过对比学习优化对齐。
• 引入时间打乱测试，以评估数据集的时间依赖性以及预训练模型对时间扰动的鲁棒性。
• 模型在大规模视频-文本对上进行预训练，并在下游任务中使用统一采样和数据增强策略，遵循标准微调协议。

Figure 1 : Comparison between existing paradigms and ours for video-language pre-training. (a) Previous methods align video and text within global perspective as the pretext. (b) We introduce HiTeA by varying video in different temporal views and modeling cross-modal alignment between moments and te

实验结果

研究问题

• RQ1 在多个时间分辨率下建模视频是否能提升视频-语言预训练中对细粒度时刻的理解？
• RQ2 预训练框架在多大程度上能捕捉视频时刻与其文本描述之间的隐式时间关系？
• RQ3 现有视频-语言数据集在多大程度上依赖时间动态而非静态视觉线索？
• RQ4 分层时间感知的预训练方法能否在零样本下游视频-语言任务中有效泛化？
• RQ5 在时间导向的基准上，该方法与现有视频-语言预训练模型相比性能如何？

主要发现

• HiTeA 在 15 项广泛认可的视频-语言理解与生成任务上达到最先进性能，展现出在多样化基准上的强大泛化能力。
• 在强调时间理解的 SSv2-Template 数据集上，HiTeA 相较于先前方法实现 8.6% 的性能提升。
• 在需要同时理解外观与时间动态的 SSv2-Label 数据集上，HiTeA 实现 11.1% 的性能提升，凸显其在建模复杂时间关系方面的有效性。
• 模型展现出强大的零样本迁移性能，表明预训练过程中学习到的表征具有鲁棒性与泛化能力。
• 所提出的時間打亂測試揭示，許多現有數據集偏向於靜態視覺線索，而 HiTeA 對此類時間擾動更具魯棒性。
• 消融研究確認，CME 和 MTRE 兩種預訓練任務均顯著貢獻於模型性能，特別是在時間導向任務上。

Figure 2 : Illustration of the proposed HiTeA . We first generate two different temporal views for the input video, where the long-view is the video itself and the short-view is randomly truncated from the input video. To explore the moment revealed in the short-view, cross-modal moment exploration