[論文レビュー] Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models

Guangzhi Sun, Wenyi Yu+7 more|arXiv (Cornell University)|Oct 9, 2023

Music and Audio Processing被引用数 5

ひとこと要約

この論文は、フレームレベルの時間的同期と因果注意を可能にする因果的Q-Formerを用いた、マルチモーダルLLM向けの細粒度な音声・視覚連携表現フレームワークFAVORを提案する。時間的因果推論を要する動画質問応答タスクにおいて25%の精度向上を達成し、音声・視覚理解および顕在的推論能力において最先端の性能を示した。

ABSTRACT

Audio-visual large language models (LLM) have drawn significant attention, yet the fine-grained combination of both input streams is rather under-explored, which is challenging but necessary for LLMs to understand general video inputs. To this end, a fine-grained audio-visual joint representation (FAVOR) learning framework for multimodal LLMs is proposed in this paper, which extends a text-based LLM to simultaneously perceive speech and audio events in the audio input stream and images or videos in the visual input stream, at the frame level. To fuse the audio and visual feature streams into joint representations and to align the joint space with the LLM input embedding space, we propose a causal Q-Former structure with a causal attention module to enhance the capture of causal relations of the audio-visual frames across time. An audio-visual evaluation benchmark (AVEB) is also proposed which comprises six representative single-modal tasks with five cross-modal tasks reflecting audio-visual co-reasoning abilities. While achieving competitive single-modal performance on audio, speech and image tasks in AVEB, FAVOR achieved over 20% accuracy improvements on the video question-answering task when fine-grained information or temporal causal reasoning is required. FAVOR, in addition, demonstrated remarkable video comprehension and reasoning abilities on tasks that are unprecedented by other multimodal LLMs. An interactive demo of FAVOR is available at https://github.com/BriansIDP/AudioVisualLLM.git, and the training code and model checkpoints will be released soon.

研究の動機と目的

• マルチモーダルLLMにおける細粒度な音声・視覚統合の欠如に取り組むこと、特にフレームレベルでの音声と動画の相互作用に焦点を当てる。
• 音声・視覚フレーム間の因果的依存関係をモデル化することで、動画理解における時間的推論を向上させること。
• エンドツーエンドのマルチモーダルLLM推論を可能にする、音声、音声イベント、画像、動画を統合的に表現する統一フレームワークの開発。
• LLMにおける音声・視覚マルチモーダル推論を評価する包括的ベンチマークの構築。

提案手法

• 時間的順序を保持しつつ、音声・視覚フレーム系列の逐次的依存関係をモデル化するため、因果的注意メカニズムを備えた因果的Q-Formerを提案する。
• 音声と視覚入力を時間的に同期させるためのフレームレベル同期モジュールを導入し、細粒度なクロスマodal相互作用を可能にする。
• 可変長入力に対応し、計算負荷を低減するために、長大な入力系列を固定長のスライディングウィンドウに分割する。
• 音声・視覚入力から一貫性のない情報が抽出されないように、出力クエリが異なる、重複のない情報を捉えるよう促す多様性学習損失を採用する。
• 学習可能なプロジェクションヘッドを用いて、共同音声・視覚表現をLLMのテキスト埋め込み空間に一致させる。
• 11のタスク（うち5つはクロスマodal推論タスク）を含む、新しい音声・視覚評価ベンチマーク（AVEB）を提案し、モデル性能を評価する。

Figure 1: The fine-grained audio-visual joint representation (FAVOR) learning framework for multimodal LLMs. The temporal synchronisation module does not contain trainable parameters, and the audio and visual feature encoders are not updated during training.

実験結果

リサーチクエスチョン

• RQ1 細粒度な音声・視覚時間的依存関係をモデル化することで、マルチモーダルLLMは時間的因果推論を要する動画質問応答タスクで優れた性能を達成できるか？
• RQ2 視覚的および音声的イベントに加えて、会話内容を統合することで、LLMにおけるマルチモーダル推論はどのように向上するか？
• RQ3 標準的な自己注意と比較して、因果的注意メカニズムは音声・視覚系列における逐次的関係のモデル化をどの程度向上させるか？
• RQ4 多様性正則化は、音声・視覚連合表現の表現能力および一般化性能にどのような影響を及えるか？
• RQ5 提案されたフレームワークは、ユーモアや動画クリップ内の意図の理解といった、標準的な単モーダルタスクを超えた顕在的推論能力を示せるか？

主な発見

• FAVORは、時間的因果推論を要する動画質問応答タスクで、InstructBLIPベースラインを上回り、25%の絶対的精度向上を達成した。
• 音声・視覚音源検出（AVSSD）タスクにおいて、単一モーダルモデルと比較して10%以上の絶対的精度向上を達成した。
• 単一モーダルタスク、特に自動音声認識（ASR）においても優れた性能を示し、最適設定下でWERが最大15%低下した。
• 多様性損失は極めて重要であることが判明した。値が高すぎると、特にASRタスクで幻覚現象が発生し、性能が低下した。
• FAVORは、会話、視覚的文脈、バックグラウンド音声を統合することで、シーンがなぜ面白いか、ロマンチックかを理解する顕在的推論能力を示した。
• 最適なフレームレートは2.0 FPSであり、モデル性能と推論効率のバランスを最適化し、トークン数を最小限に抑えつつ、音声と視覚系列の整合性を最大化した。

Figure 2: The causal attention module in the causal Q-Former with a block-wise triangular causal mask (grey cells are masked). The number of features per frame here is 2 as an example.