[論文レビュー] Streaming Long Video Understanding with Large Language Models

Rui Qian, Xiaoyi Dong+5 more|arXiv (Cornell University)|May 25, 2024

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本論文では、コンテキストメモリをクリップ間で伝達し、質問に関連するメモリを適応的に選択することで、任意長の動画をストリーミング形式で、かつ定常メモリ容量で符号化できる視覚言語大規模モデルであるVideoStreamingを提案する。合成の長時間動画データを用いたエンドツーエンドの訓練により、時間的ダイナミクスを保持し、冗長性を低減することで、長時間動画ベンチマークにおいて優れた精度と効率を達成する。

ABSTRACT

This paper presents VideoStreaming, an advanced vision-language large model (VLLM) for video understanding, that capably understands arbitrary-length video with a constant number of video tokens streamingly encoded and adaptively selected. The challenge of video understanding in the vision language area mainly lies in the significant computational burden caused by the great number of tokens extracted from long videos. Previous works rely on sparse sampling or frame compression to reduce tokens. However, such approaches either disregard temporal information in a long time span or sacrifice spatial details, resulting in flawed compression. To address these limitations, our VideoStreaming has two core designs: Memory-Propagated Streaming Encoding and Adaptive Memory Selection. The Memory-Propagated Streaming Encoding architecture segments long videos into short clips and sequentially encodes each clip with a propagated memory. In each iteration, we utilize the encoded results of the preceding clip as historical memory, which is integrated with the current clip to distill a condensed representation that encapsulates the video content up to the current timestamp. After the encoding process, the Adaptive Memory Selection strategy selects a constant number of question-related memories from all the historical memories and feeds them into the LLM to generate informative responses. The question-related selection reduces redundancy within the memories, enabling efficient and precise video understanding. Meanwhile, the disentangled video extraction and reasoning design allows the LLM to answer different questions about a video by directly selecting corresponding memories, without the need to encode the whole video for each question. Our model achieves superior performance and higher efficiency on long video benchmarks, showcasing precise temporal comprehension for detailed question answering.

研究の動機と目的

• 全動画符号化に起因する過剰なトークン数による計算負荷と情報損失を軽減すること。
• 疎なサンプリングやフレーム圧縮に依存する従来手法の限界を克服し、時間的または空間的詳細を損なわないこと。
• 各クエリごとに全シーケンスを再符号化せずに、長時間動画上で正確で質問特化型の推論を可能にすること。
• 固定長のグローバルメモリを維持しながらも、長期的な時間的ダイナミクスを保持するストリーミングアーキテクチャを実現すること。
• 各クエリに対して最も関連性の高い歴史的メモリのみを取得する適応的メモリ選択メカニズムを設計すること。

提案手法

• 長時間動画を短いクリップに分割し、各クリップの符号化に前回のクリップの符号化表現を歴史的メモリとして組み込む、メモリ伝播型ストリーミング符号化を適用する。
• 小さなデコーダー専用言語モデルを用いて、歴史的メモリと現在のクリップ特徴量の連結から、凝縮され固定長のメモリを自己回帰的に抽出する。
• 各クリップの符号化後に1つの要約トークンを付加し、後続の検索や類似度ベースの選択のためのクリップインジケータとして機能させる。
• 質問応答の際、質問の埋め込みとすべてのクリップインジケータとの類似度を計算し、最も関連性の高い歴史的メモリのサブセットを選択する。
• 選択されたメモリと質問を大規模言語モデル（LLM）に供給し、全動画を再処理せずに文脈に即した詳細な応答を生成する。
• 2段階の訓練プロトコルを採用：まず、単一クリップタスクでストリーミングエンコーダーをprefix-tuning法で事前学習し、次に合成長時間動画QAペアを用いてLLMと共同でファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 伝播されたメモリを有するストリーミング符号化機構は、メモリサイズを一定に保ちながら、任意長の動画において長期的な時間的整合性を維持できるか？
• RQ2 再符号化なしに、全動画を再処理せずに、質問に関連するセグメントを適応的メモリ選択がどれほど効果的に抽出できるか？
• RQ3 トレーニング時に時間的グランドトゥースを組み込むことで、モデルの時間的局在化能力が向上するか？
• RQ4 ストリーミングエンコーダーにおけるモデルの深さが、動画表現品質および下流タスク性能に与える影響は何か？
• RQ5 マルチラウンドQAペアを含む合成長時間動画データは、汎用的な長時間動画理解のためのモデルを有効に訓練できるか？

主な発見

• 本モデルはFullsetベンチマークで44.1%の精度、GQAで17.8% Acc@GQAを達成し、固定メモリまたはメモリ選択なしのベースラインを上回る。
• 適応的メモリ選択により、ブレイクポイントモードの精度低下が31.9%（ベースライン）から15.6%（選択あり）に減少し、詳細な時間的推論の向上が示された。
• ストリーミングエンコーダーに16層を用いた場合、32層のバージョン（41.3%）よりも高い性能（44.1% Fullset）を示し、浅い層が凝縮された視覚表現をより効果的に捉えていることが示唆された。
• 疑似時間的ラベルを用いたウォームアップ訓練により、グランドトゥース性能が向上し、Next-GQAで32.2%のmIoUを達成した（監視なしでは24.1%）。
• 弱教師あり設定では、モデルが後方のタイムスタンプをより頻繁に選択する傾向が見られ、歴史的メモリが明示的なグランドトゥース監視がなくても初期のコンテキストを保持するのに寄与していることが示された。
• アブレーション実験から、ウォームアップ後に時間的ラベルを再利用しても利益が得られず、ウォームアップ初期化が大規模データへの一般化に十分であることが確認された。