[论文解读] Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization

Yang Jin, Zhicheng Sun+11 more|arXiv (Cornell University)|Feb 5, 2024

Multimodal Machine Learning Applications被引用 5

一句话总结

Video-LaVIT 将视频分解为关键帧和运动向量，对它们进行离散化标记，并在同一个大语言模型框架中统一视频、图像和文本的预训练，涵盖理解与生成任务。

ABSTRACT

In light of recent advances in multimodal Large Language Models (LLMs), there is increasing attention to scaling them from image-text data to more informative real-world videos. Compared to static images, video poses unique challenges for effective large-scale pre-training due to the modeling of its spatiotemporal dynamics. In this paper, we address such limitations in video-language pre-training with an efficient video decomposition that represents each video as keyframes and temporal motions. These are then adapted to an LLM using well-designed tokenizers that discretize visual and temporal information as a few tokens, thus enabling unified generative pre-training of videos, images, and text. At inference, the generated tokens from the LLM are carefully recovered to the original continuous pixel space to create various video content. Our proposed framework is both capable of comprehending and generating image and video content, as demonstrated by its competitive performance across 13 multimodal benchmarks in image and video understanding and generation. Our code and models are available at https://video-lavit.github.io.

研究动机与目标

• 促使从视频数据而非静态图像出发实现可扩展的、统一的视觉-语言模型预训练。
• 提出一种高效的视频表示，将视觉语义（关键帧）与时序动态（运动向量）分离。
• 利用离散的视觉与运动标记，使大语言模型在多模态（视频、图像、文本）上实现自回归预训练。
• 展示该模型在无需大量微调的情况下即可理解和生成多模态内容。

提出的方法

• 引入一个视频标记器，将用于关键帧的图像标记器与基于 VQ-VAE 的运动专用标记器结合起来，对运动向量进行离散化。
• 将视频表示为交替的视觉标记和运动标记，以减少帧间冗余。
• 开发一个视频解标记器（3D U-Net 变体），将离散标记映射回连续视频帧，并强化运动条件。
• 在跨模态上用统一的自回归目标进行训练，使在一个框架内实现共同理解和生成。
• 采用三阶段训练流程：在视频数据上进行标记器/解标记器训练、统一生成式预训练，以及指令微调。

实验结果

研究问题

• RQ1 分解后的视觉-运动标记方案是否能够高效地捕捉用于大语言模型预训练的视频动态？
• RQ2 在多大程度上，统一的生成目标能够在无需大量特定任务微调的情况下，同时实现视频/图像理解与生成？
• RQ3 与基于帧或3D标记方法相比，运动标记对视频理解和文本到视频生成的性能有何影响？
• RQ4 通过在解码阶段引入显式噪声约束，模型是否能够生成时序一致性更强的长视频？

主要发现

• Video-LaVIT 在图像理解基准上达到与最先进方法相媲美的表现，展示了从图像-语言预训练到多模态任务的强泛化能力。
• 在零-shot 视频问答上，Video-LaVIT 在 MSVD-QA、MSRVTT-QA 和 ActivityNet-QA 上均达到最先进的准确率。
• 在零-shot 文本到视频生成中，Video-LaVIT 超过了许多基线，与在更大规模专有数据上训练的模型具有竞争力。
• 消融研究表明，运动标记显著提升理解与生成；使用较少数量的运动标记可提升长视频的条件建模和效率。