[論文レビュー] Foundation Models for Video Understanding: A Survey

Neelu Madan, Andreas Moegelmose+3 more|arXiv (Cornell University)|May 6, 2024

Human Pose and Action Recognition被引用数 4

ひとこと要約

本サーベイは、ビデオ基礎モデル（ViFMs）の最初の包括的分析を提示し、画像ベース、ビデオベース、およびユニバーサル基礎モデル（UFMs）の3つに分類する。14のビデオタスクにおいて200以上のViFMsを評価した結果、画像ベースのモデルがビデオ固有のモデルを上回ることが多く、マルチモーダル事前学習を経たUFMsは優れた性能を示し、今後のビデオ理解研究のためのロードマップを提供する。

ABSTRACT

Video Foundation Models (ViFMs) aim to learn a general-purpose representation for various video understanding tasks. Leveraging large-scale datasets and powerful models, ViFMs achieve this by capturing robust and generic features from video data. This survey analyzes over 200 video foundational models, offering a comprehensive overview of benchmarks and evaluation metrics across 14 distinct video tasks categorized into 3 main categories. Additionally, we offer an in-depth performance analysis of these models for the 6 most common video tasks. We categorize ViFMs into three categories: 1) Image-based ViFMs, which adapt existing image models for video tasks, 2) Video-Based ViFMs, which utilize video-specific encoding methods, and 3) Universal Foundational Models (UFMs), which combine multiple modalities (image, video, audio, and text etc.) within a single framework. By comparing the performance of various ViFMs on different tasks, this survey offers valuable insights into their strengths and weaknesses, guiding future advancements in video understanding. Our analysis surprisingly reveals that image-based foundation models consistently outperform video-based models on most video understanding tasks. Additionally, UFMs, which leverage diverse modalities, demonstrate superior performance on video tasks. We share the comprehensive list of ViFMs studied in this work at: \url{https://github.com/NeeluMadan/ViFM_Survey.git}

研究の動機と目的

• さまざまなビデオ理解タスクにわたる、ビデオ基礎モデル（ViFMs）の包括的サーベイを提供すること。
• ViFMsを3つのタイプに分類すること：画像ベース、ビデオベース、および複数モodalを統合するユニバーサル基礎モデル（UFMs）。
• 14のビデオタスクに分類されたベンチマーク、評価指標、および性能を、3つの時間的カテゴリーに分け分析すること。
• タスクごとのViFMの性能を比較し、主な強み・弱み、および研究ギャップを同定すること。
• 因果的推論、ビューポイント不変性、ドメイン適応、および効率性といった未開拓の方向性を強調することで、今後の研究を導くこと。

提案手法

• 200以上のViFMsを、画像ベース（画像モデルから微調整）、ビデオベース（ビデオデータで訓練）、UFMs（画像・ビデオ・音声・テキストのマルチモーダル事前学習）の3つのグループに体系的に分類する。
• 14のビデオ理解タスクを3つの時間的カテゴリーに分類する：アクション認識、アクションロケーション、長時間ビデオ理解。
• 各タスクカテゴリーごとに、データセットおよび評価指標の包括的リストを収集・分析する。
• 標準化されたベンチマークを用いて、6つの一般的なビデオタスクにおけるViFMsの詳細な性能比較を実施する。
• 定性的および定量的分析を用いて、異なる事前学習戦略およびモダリティにおけるモデルの挙動、一般化性能、およびロバストネスを評価する。
• 記録されたトレンドと課題を同定する。これには、メモリ制限、ビューポイント感受性、ドメインシフト、計算上の非効率性が含まれる。

Figure 1 . Overview of recent research trends in video understanding. The left bar chart shows a significant increase in publications on this topic, based on data from prestigious conferences and journals. The figure presents statistics showcasing research focusing on generative, discriminative, and

実験結果

リサーチクエスチョン

• RQ1 標準的なビデオ理解タスクにおいて、画像ベース、ビデオベース、およびユニバーサル基礎モデルの性能はどのように比較されるか？
• RQ2 なぜ画像ベースの基礎モデルが、ほとんどのビデオタスクでビデオ固有のモデルを常に上回るのか？
• RQ3 マルチモーダル（例：視覚・言語・音声・テキスト）なユニバーサル基礎モデルは、ビデオ理解タスクにおける性能をどの程度向上させるのか？
• RQ4 現在のViFMsが長時間ビデオ、ビューポイントの変化、ドメインシフト、エッジデプロイメントの処理において、どのような主な制限を抱えているか？
• RQ5 因果的推論とビューポイント不変表現は、ViFMsのロバストネスおよび一般化性能をどのように向上させ得るか？

主な発見

• 画像ベースの基礎モデルは、静止画像で事前学習されているにもかかわらず、ほとんどのビデオ理解タスクでビデオベースのモデルを常に上回る性能を示す。
• 複数のモダリティ（テキスト、音声、ビデオなど）を統合するユニバーサル基礎モデル（UFMs）は、幅広いビデオタスクにおいて優れた性能を示す。
• 本サーベイでは、ViFMsにおけるドメイン適応に関する顕著な研究ギャップが同定され、現在のモデルは照明や場所の変化といったドメインシフトに対して限定的なロバストネスを示している。
• 因果的推論は、『なぜ』『次に何が起こるか』『もしも〜なら』といった質問に答える能力を高めることで、長時間ビデオ理解の向上に向けた有望な今後の方向性である。
• ビューポイント不変性は依然として課題であり、特にエゴセントリックまたは上空ビューのビデオでは、3次元認識またはビューワイズの表現学習の必要性が示唆される。
• 効率性は依然として主要なボトル neck であり、ViFMsはしばしば数十億のパラメータと高コストな計算リソースを必要とし、エッジデバイスへのデプロイメントを制限している。

Figure 2 . Figure contrasts classical (separate feature extraction, model training) and deep learning (unified framework) approaches in computer vision. It also shows the progression of deep learning approaches for both image and video processing over time (best viewed in color).