[论文解读] BEVT: BERT Pretraining of Video Transformers

Rui Wang, Dongdong Chen+7 more|arXiv (Cornell University)|Dec 2, 2021

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

BEVT 提出了一种用于视频视觉变换器的解耦式 BERT 风格预训练框架，首先在 ImageNet 上通过掩码图像建模学习空间表征，然后在视频数据上通过掩码视频建模联合学习空间与时间动态。通过将视频流注意力权重从图像预训练模型初始化，并通过共享权重联合微调两个流，BEVT 实现了最先进性能，在 Something-Something-V2 和 Diving-48 上分别达到 71.4% 和 87.2% 的 Top-1 准确率。

ABSTRACT

This paper studies the BERT pretraining of video transformers. It is a straightforward but worth-studying extension given the recent success from BERT pretraining of image transformers. We introduce BEVT which decouples video representation learning into spatial representation learning and temporal dynamics learning. In particular, BEVT first performs masked image modeling on image data, and then conducts masked image modeling jointly with masked video modeling on video data. This design is motivated by two observations: 1) transformers learned on image datasets provide decent spatial priors that can ease the learning of video transformers, which are often times computationally-intensive if trained from scratch; 2) discriminative clues, i.e., spatial and temporal information, needed to make correct predictions vary among different videos due to large intra-class and inter-class variations. We conduct extensive experiments on three challenging video benchmarks where BEVT achieves very promising results. On Kinetics 400, for which recognition mostly relies on discriminative spatial representations, BEVT achieves comparable results to strong supervised baselines. On Something-Something-V2 and Diving 48, which contain videos relying on temporal dynamics, BEVT outperforms by clear margins all alternative baselines and achieves state-of-the-art performance with a 71.4\% and 87.2\% Top-1 accuracy respectively. Code will be made available at \url{https://github.com/xyzforever/BEVT}.

研究动机与目标

• 探索 BERT 风格预训练在视频视觉变换器中的应用，将 BERT 预训练在自然语言处理和图像视觉变换器中的成功扩展至视频理解任务。
• 通过利用图像数据中的预训练空间先验知识，缓解从零开始训练视频视觉变换器带来的高计算成本和泛化能力差的问题。
• 将视频表征学习解耦为空间与时间两部分，保留空间知识的同时学习动态时间依赖性。
• 通过在图像和视频数据上联合预训练并共享权重与掩码建模目标，提升视频识别基准上的性能。
• 证明显式保留来自图像预训练的空间先验知识可增强下游视频识别性能，尤其在依赖时间动态的视频中表现更优。

提出的方法

• BEVT 采用双流架构：图像流用于学习空间表征，视频流用于学习时间动态。
• 图像流在 ImageNet 上通过基于 VQ-VAE 提取的潜在码进行掩码图像建模进行预训练，以无监督方式学习空间先验。
• 视频流通过从图像流迁移注意力权重初始化，以传递空间知识并降低训练成本。
• 视频流在 3D 管道（时空块）上执行掩码视频建模，使用潜在码通过对比目标预测被掩码的管道。
• 两个流在视频数据上联合训练，共享主干网络权重，实现空间与时间建模之间的交互。
• 使用视觉分词器（如 DALL-E 或 PeCo）将图像和视频块转换为离散标记，以支持掩码建模。

实验结果

研究问题

• RQ1 考虑到视频数据的动态特性，BERT 风格预训练能否有效扩展至视频视觉变换器？
• RQ2 将空间与时间表征学习解耦是否能提升视频理解任务中的效率与性能？
• RQ3 使用图像预训练的空间先验初始化视频视觉变换器，对下游视频识别准确率有何影响？
• RQ4 在掩码视频建模中，针对 3D 视频管道的何种掩码策略能获得最佳性能？
• RQ5 视觉分词器的选择（如 DALL-E 与 PeCo）对最终视频识别性能有何影响？

主要发现

• 在 Kinetics-400 上，BEVT 达到 81.1% 的 Top-1 准确率，超过强监督基线（80.6%）。
• 在 Something-Something-V2 上，BEVT 达到 71.4% 的 Top-1 准确率，优于所有先前基线，创下新 SOTA 记录。
• 在 Diving-48 上，BEVT 达到 87.2% 的 Top-1 准确率，显著超越此前方法，确立新 SOTA。
• 消融实验确认，在 ImageNet-1K 上预训练图像流至关重要，使用图像预训练权重初始化的模型表现更优。
• 使用 PeCo 分词器而非 DALL-E 可获得更好结果，使 BEVT 在 SSv2 和 Diving48 上分别达到 71.4% 和 87.2% 的准确率。
• 在时间范围为 0.5T 到 T 且掩码比例为 50% 时，管道掩码策略表现最优；而过短或过长的时间掩码会降低性能。