[论文解读] Foundation Models for Video Understanding: A Survey

Neelu Madan, Andreas Moegelmose+3 more|arXiv (Cornell University)|May 6, 2024

Human Pose and Action Recognition被引用 4

一句话总结

本综述首次对视频基础模型（ViFMs）进行了全面分析，将其分类为基于图像的模型、基于视频的模型以及通用基础模型（UFMs）。该研究在14项视频任务上评估了超过200个ViFMs，发现基于图像的模型通常优于专门针对视频训练的模型，而经过多模态预训练的UFMs则表现出更优性能，为未来视频理解研究提供了路线图。

ABSTRACT

Video Foundation Models (ViFMs) aim to learn a general-purpose representation for various video understanding tasks. Leveraging large-scale datasets and powerful models, ViFMs achieve this by capturing robust and generic features from video data. This survey analyzes over 200 video foundational models, offering a comprehensive overview of benchmarks and evaluation metrics across 14 distinct video tasks categorized into 3 main categories. Additionally, we offer an in-depth performance analysis of these models for the 6 most common video tasks. We categorize ViFMs into three categories: 1) Image-based ViFMs, which adapt existing image models for video tasks, 2) Video-Based ViFMs, which utilize video-specific encoding methods, and 3) Universal Foundational Models (UFMs), which combine multiple modalities (image, video, audio, and text etc.) within a single framework. By comparing the performance of various ViFMs on different tasks, this survey offers valuable insights into their strengths and weaknesses, guiding future advancements in video understanding. Our analysis surprisingly reveals that image-based foundation models consistently outperform video-based models on most video understanding tasks. Additionally, UFMs, which leverage diverse modalities, demonstrate superior performance on video tasks. We share the comprehensive list of ViFMs studied in this work at: \url{https://github.com/NeeluMadan/ViFM_Survey.git}

研究动机与目标

• 提供对视频理解任务中各类视频基础模型（ViFMs）的首次全面综述。
• 将ViFMs分为三类：基于图像的模型、基于视频的模型以及融合多种模态的通用基础模型（UFMs）。
• 分析14项视频任务的基准数据集、评估指标及其在三个时间维度类别中的表现。
• 对比ViFMs在各项任务中的性能，识别其关键优势、劣势及研究空白。
• 通过指出因果推理、视角不变性、域适应和效率等尚未充分探索的研究方向，为未来研究提供指导。

提出的方法

• 系统性地将200多个ViFMs分为三类：基于图像的模型（在图像模型基础上微调）、基于视频的模型（在视频数据上训练）以及UFMs（在图像、视频、音频和文本等多模态数据上进行预训练）。
• 将14项视频理解任务划分为三类时间维度：动作识别、动作定位和长视频理解。
• 整理并分析各类任务对应的完整数据集列表及评估指标。
• 基于标准化基准，对ViFMs在六项最常见视频任务中的性能进行详细比较。
• 通过定性和定量分析，评估不同预训练策略和模态下模型的行为、泛化能力与鲁棒性。
• 识别新兴趋势与挑战，包括内存限制、视角敏感性、域偏移以及计算效率低下等问题。

Figure 1 . Overview of recent research trends in video understanding. The left bar chart shows a significant increase in publications on this topic, based on data from prestigious conferences and journals. The figure presents statistics showcasing research focusing on generative, discriminative, and

实验结果

研究问题

• RQ1 在标准视频理解任务中，基于图像的模型、基于视频的模型和通用基础模型的性能如何比较？
• RQ2 为何基于图像的通用基础模型在大多数视频任务中持续优于专门针对视频设计的模型？
• RQ3 多模态（如视觉-语言-音频-文本）通用基础模型在视频理解任务中的性能提升程度如何？
• RQ4 当前ViFMs在处理长视频、视角变化、域偏移以及边缘设备部署方面存在哪些关键局限性？
• RQ5 因果推理与视角不变表示如何提升ViFMs的鲁棒性与泛化能力？

主要发现

• 尽管基于图像的通用基础模型是在静态图像上预训练的，但在大多数视频理解任务中仍持续优于基于视频的模型。
• 通用基础模型（UFMs）通过整合文本、音频和视频等多模态信息，在广泛视频任务中展现出卓越性能。
• 本综述识别出ViFMs在域适应方面存在显著研究空白，当前模型对光照变化或地理位置改变等域偏移表现出有限的鲁棒性。
• 因果推理被识别为未来提升长视频理解能力的有前景方向，可使模型回答“为什么”、“接下来会发生什么”以及“如果……会怎样”等问题。
• 视角不变性仍是挑战，尤其在第一视角或鸟瞰视角视频中，表明需要发展3D感知或视角一致的表征学习方法。
• 效率仍是关键瓶颈，ViFMs通常需要数十亿参数和高计算资源，限制了其在边缘设备上的部署。

Figure 2 . Figure contrasts classical (separate feature extraction, model training) and deep learning (unified framework) approaches in computer vision. It also shows the progression of deep learning approaches for both image and video processing over time (best viewed in color).