[論文レビュー] VideoLLM: Modeling Video Sequence with Large Language Models

Chen Guo, Yin-Dong Zheng+9 more|arXiv (Cornell University)|May 22, 2023

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

VideoLLM はモダリティエンコーダとセマンティックトランスレーターを用いて動画シーケンスを統一されたトークン列に写像し、デコーダーのみの LLM がパラメータ効率的なファインチューニングで多様な動画シーケンス理解タスクを実行できるようにする。

ABSTRACT

With the exponential growth of video data, there is an urgent need for automated technology to analyze and comprehend video content. However, existing video understanding models are often task-specific and lack a comprehensive capability of handling diverse tasks. The success of large language models (LLMs) like GPT has demonstrated their impressive abilities in sequence causal reasoning. Building upon this insight, we propose a novel framework called VideoLLM that leverages the sequence reasoning capabilities of pre-trained LLMs from natural language processing (NLP) for video sequence understanding. VideoLLM incorporates a carefully designed Modality Encoder and Semantic Translator, which convert inputs from various modalities into a unified token sequence. This token sequence is then fed into a decoder-only LLM. Subsequently, with the aid of a simple task head, our VideoLLM yields an effective unified framework for different kinds of video understanding tasks. To evaluate the efficacy of VideoLLM, we conduct extensive experiments using multiple LLMs and fine-tuning methods. We evaluate our VideoLLM on eight tasks sourced from four different datasets. The experimental results demonstrate that the understanding and reasoning capabilities of LLMs can be effectively transferred to video understanding tasks. We release the code at https://github.com/cg1177/VideoLLM.

研究の動機と目的

• 大規模言語モデル（LLMs）から動画シーケンス理解へのシーケンス推論の移行を促す。
• 視覚モダリティと文本モダリティを整合させるプラグアンドプレイ型フレームワーク（Modality Encoder + Semantic Translator）を開発する。
• デコーダーのみの LLM が最小限のタスク固有のカスタマイズで多様な動画タスクを実行できるようにする。

提案手法

• 動画を時間方向の単位化（temporal-wise unitization）により短期的な視覚単位にエンコードし、時間トークンへプーリングする。
• 軽量なセマンティックトランスレーターで視覚セマンティクスを言語セマンティクスへ翻訳する。
• デコーダーのみの LLM を一般的な動画シーケンス推論器として、さまざまなタスクのタスクヘッドを用いる。
• LLMsを効率的に適応させるため、3つのファインチューニング方式（basic tuning、partial tuning、PEFT）を採用する。
• GPT-2、T5 Decoder、OPT などの多様な LLM を用い、4つのデータセット上で8タスクを評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚→言語へのトランスレーターと組み合わせた場合、凍結済みまたは軽度に調整した LLM は動画シーケンスを推論できるか。
• RQ2 異なる LLM アーキテクチャやチューニング手法は、多様な動画シーケンスタスクの性能にどう影響するか。
• RQ3 単一のデコーダーのみの LLM で、視覚オンリーと視覚言語の動画理解タスクの両方を処理できるか。
• RQ4 タスク間での LLM パラメータ数の増加に伴う VideoLLM のスケーラビリティはどうなるか。
• RQ5 提案された適応原理は、8つの動画タスクでタスク固有のベンチマークと比較してどのように性能を発揮するか。

主な発見

• VideoLLM は、7つの動画シーケンスタスクにおいて、タスク固有モデルと比較して競争力のあるまたは最先端の結果を達成。
• 異なるベース LLM はタスク依存の強みを示す。OPT は一般に online action detection や moment-related タスクで良好、一方 T5 Decoder は dense prediction の場面で優れている。
• PEFT チューニングは prefix tuning を伴うことで basic tuning より OAD のリコールを最大で約1.3ポイント改善できる。
• LLM のサイズを増やすと一定の点まで性能が向上する（例: OPT-1.3B が強い結果）、非常に大きなモデルでは一部設定で利得が頭打ちとなる。
• タスクを横断して、VideoLLM は約 2M から 15M の学習可能パラメータを使用し、主にセマンティックトランスレーターとタスクヘッドに配置されている。これはパラメータ効率性を示す。