[論文レビュー] ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding System

Junke Wang, Dongdong Chen+5 more|arXiv (Cornell University)|Apr 27, 2023

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

ChatVideo は、オブジェクトのトラックレットを中核とするマルチモーダル動画理解システムを提案する。このシステムは、ビデオ基礎モデル（ViFM）を活用して、外観、動き、軌道といったトラックレットの属性をデータベースに抽出・保存する。データベースマネージャーはユーザーの質問を構造化されたコマンドに変換し、LLM がそれらを処理して自然言語の応答を生成することで、多様なタスクにわたる柔軟で会話型の動画理解を実現し、現実世界の状況でも優れた汎化性能を示す。

ABSTRACT

Existing deep video models are limited by specific tasks, fixed input-output spaces, and poor generalization capabilities, making it difficult to deploy them in real-world scenarios. In this paper, we present our vision for multimodal and versatile video understanding and propose a prototype system, \system. Our system is built upon a tracklet-centric paradigm, which treats tracklets as the basic video unit and employs various Video Foundation Models (ViFMs) to annotate their properties e.g., appearance, motion, \etc. All the detected tracklets are stored in a database and interact with the user through a database manager. We have conducted extensive case studies on different types of in-the-wild videos, which demonstrates the effectiveness of our method in answering various video-related problems. Our project is available at https://www.wangjunke.info/ChatVideo/

研究の動機と目的

• 既存の動画基礎モデル（ViFM）がタスク特化的であり、汎化性に欠け、入力・出力空間が固定されているという限界を是正すること。
• 多様な ViFM を統合し、大規模言語モデル（LLM）と統合することで、マルチモーダルかつ多様な動画理解を実現すること。
• データベース駆動のトラックレットベースアーキテクチャを採用し、対話的で文脈に配慮した動画理解を支援するシステムを開発すること。
• 動画理解における ViFM の逐次的適用の非効率性を解消するため、ボトムアップで事前処理を行うパラダイムを採用すること。
• チャットベースでデータベース管理された動画理解システムの実現可能性と有効性を、現実世界の、いわゆる in-the-wild 動画シナリオにおいて示すこと。

提案手法

• システムは、個々のオブジェクトインスタンス（トラックレット）を動画分析の基本単位とするトラックレット中心のパラダイムを採用する。
• 複数のビデオ基礎モデル（ViFM）を適用し、外観、動き、軌道といったトラックレットの属性を予測する。
• 検出されたすべてのトラックレットとその属性を、永続的でクエリアクセス可能な構造化データベースに格納する。
• データベースマネージャーモジュールは、自然言語でのユーザー質問を標準的なデータベースクエリに変換する。
• 大規模言語モデル（LLM）がクエリの結果を処理し、要約して文脈に配慮した自然な言語の応答を生成する。
• ViFM の出力と LLM の推論・生成を統合することで、エンドツーエンドの会話型動画理解を実現するパイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 タスク特化的 ViFM よりも柔軟で汎化性に優れた動画理解を実現するため、トラックレット中心のパラダイムは有効であるか？
• RQ2 トラックレット属性の統合データベースが、LLM パowered のクエリによって、多様な動画理解タスクをどれほど効果的に支援できるか？
• RQ3 複雑なシーンや動的なカメラ移動を伴う in-the-wild 動画に対し、このシステムはどの程度汎化できるか？
• RQ4 複数の ViFM と LLM を統合することで、マルチモーダル動画タスク全体のパフォーマンスはどの程度向上するか？
• RQ5 このシステムの失敗モードは、現在の ViFM や音声モデルの限界とどのように関連しているか？

主な発見

• 統合パイプラインにより、行動認識、トラッキング、時系列局所化といった幅広い動画理解タスクを効果的にサポートしている。
• 現実世界の in-the-wild 動画を対象とした多数の事例研究から、文脈に配慮した多様な質問に会話形式で効果的に応答できることを示している。
• トラックレット中心のアプローチにより、低レベルの認識と高レベルの推論を分離することで、効率的でスケーラブルな動画理解が可能になった。
• 現実世界のシナリオにおいて強い汎化性能を示しているが、高速移動する物体や細分化された行動認識のタスクでは、ViFM の制限により性能が低下する。
• 音声分類は依然として課題であり、分類予測の代わりに音声認識（ASR）モデルを用いて音声コンテンツを抽出している。
• 動画推薦やオンライン教育などの実世界応用に応用可能であり、RLHF や耐性訓練によるさらなる改善の余地がある。