[論文レビュー] Vista-LLaMA: Reducing Hallucination in Video Language Models via Equal Distance to Visual Tokens

Fan Ma, Xiaojie Jin+4 more|arXiv (Cornell University)|Dec 12, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Vista-LLaMAは、注意計算中にすべての視覚トークンと言語トークンの間隔を等距離に保つことで、テキスト長にかかわらず一貫した視覚的影響を確保する新しい動画・言語モデルを提案する。これにより、幻覚を低減する。等距離視覚トークン（EDVT）注意メカニズムと、時間的モデリングを向上させるための逐次的視覚プロジェクタを導入し、微調整を必要としない状態で、NExT-QAで60.7のゼロショット精度、MSRVTT-QAで60.5の精度を達成し、最先端性能を実現した。

ABSTRACT

Recent advances in large video-language models have displayed promising outcomes in video comprehension. Current approaches straightforwardly convert video into language tokens and employ large language models for multi-modal tasks. However, this method often leads to the generation of irrelevant content, commonly known as "hallucination", as the length of the text increases and the impact of the video diminishes. To address this problem, we propose Vista-LLaMA, a novel framework that maintains the consistent distance between all visual tokens and any language tokens, irrespective of the generated text length. Vista-LLaMA omits relative position encoding when determining attention weights between visual and text tokens, retaining the position encoding for text and text tokens. This amplifies the effect of visual tokens on text generation, especially when the relative distance is longer between visual and text tokens. The proposed attention mechanism significantly reduces the chance of producing irrelevant text related to the video content. Furthermore, we present a sequential visual projector that projects the current video frame into tokens of language space with the assistance of the previous frame. This approach not only captures the temporal relationship within the video, but also allows less visual tokens to encompass the entire video. Our approach significantly outperforms various previous methods (e.g., Video-ChatGPT, MovieChat) on four challenging open-ended video question answering benchmarks. We reach an accuracy of 60.7 on the zero-shot NExT-QA and 60.5 on the zero-shot MSRVTT-QA, setting a new state-of-the-art performance. This project is available at https://jinxxian.github.io/Vista-LLaMA.

研究の動機と目的

• テキスト長が延びるにつれて生成されたテキストが動画コンテンツからますます離れてしまう、動画・言語モデルにおける幻覚問題に対処すること。
• 長文の動画言語モデルにおいて視覚的影響が弱まるのを防ぐために、視覚トークンと言語トークンの間の注意距離を一貫して保つこと。
• 逐次的視覚プロジェクタを用いて、フレーム間の関係を捉えることで、動画理解における時間的モデリングを向上させること。
• 微調整を必要とせず、ゼロショットオープンエンドド動画質問応答ベンチマークで最先端の性能を達成すること。

提案手法

• 視覚トークンと言語トークン間の注意計算時に回転位置埋め込みを省略することで、等効果的距離を維持する、等距離視覚トークン（EDVT）注意メカニズムを導入する。
• 言語トークン同士の注意にのみ回転位置埋め込みを保持することで、テキスト系列内での相対的なトークン順序と文脈を保つ。
• 前のフレームの投影表現を条件として各フレームの視覚トークンを生成する、逐次的視覚プロジェクタを設計し、追加パラメータを必要とせずに時間的モデリングを可能にする。
• 微調整可能な視覚プロジェクタを用いて動画フレームを言語空間に投影し、BLIP-2などの事前学習モデルからの初期化により、視覚表現学習を向上させる。
• 視覚トークンと言語トークンが同じシーケンスに共存する単一ストリームTransformerアーキテクチャを採用し、EDVT注意により視覚トークンが生成に一貫して影響を与えるようにする。
• 一定間隔で動画フレームをサンプリングし、それらを視覚トークンに変換することで、長時間の動画を表現するために必要な視覚トークン数を削減しながら、時間的ダイナミクスを保持する。

Figure 1 : Video language processing with LLaMA [ 24 ] and our Vista-LLaMA . The vanilla LLaMA treats visual tokens ( ) the same as other language tokens ( ), weakening the impact for tokens in long distance. Our model retains the same mechanism for language tokens and strengthens the impact of the

実験結果

リサーチクエスチョン

• RQ1 視覚トークンとすべての言語トークンとの間の注意距離を一定に保つことで、長文の動画・言語生成における幻覚を低減できるか？
• RQ2 視覚トークンと言語トークンの間で相対的位置符号化を欠如させた場合、長文シーケンス全体にわたり視覚的コンテンツに注目する能力にどのような影響を与えるか？
• RQ3 独立したフレーム投影と比較して、逐次的視覚プロジェクタは、動画・言語モデルにおける時間的推論にどの程度向上をもたらすか？
• RQ4 提案されたEDVT注意と逐次的プロジェクタ設計が、ゼロショット動画質問応答ベンチマークで最先端の性能を達成できるか？
• RQ5 モデルの性能は、時間的、記述的、因果的推論タスクを含む、さまざまな種類の動画質問に一般化するか？

主な発見

• Vista-LLaMAは、NExT-QAベンチマークで60.7の新しいゼロショット精度を達成し、Video-ChatGPT や MovieChat などの先行手法を顕著に上回った。
• MSRVTT-QAベンチマークでは60.5のゼロショット精度を達成し、オープンエンドド動画質問応答への強い一般化能力を示した。
• 逐次的視覚プロジェクタ（SeqQ-Former）は、線形および標準的なQ-Former視覚プロジェクタを上回り、特に時間的推論質問において顕著な性能向上を示した。
• モデルはテキスト生成における幻覚を低減した：定性的な比較では、Video-ChatGPTが失敗するようなオブジェクトの位置や動作（例：電話の向き、人物の姿勢）を正しく特定した。
• 視覚トークン数を増やすことで全体の精度は向上するが、時間的質問の性能は悪化する傾向にあり、現在のモデルがより多くの視覚入力があっても時間的推論に苦労していることが示唆された。
• EDVT注意メカニズムは、遠く離れたトークンに対しても視覚的影響を一貫して維持でき、不要または幻覚的な内容の生成リスクを低減した。

Figure 2 : The framework of Vista-LLaMA . The visual encoder and large language model are both frozen ( ) during training, while the projector is trainable ( ) to map video into the language’s space. The attention operation in each layer is present on the right part. Only the text tokens are applied