[論文レビュー] BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich Visual Questions

Wenbo Hu, Yifan Xu+4 more|arXiv (Cornell University)|Aug 19, 2023

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

BLIVA は、学習済みクエリ埋め込みをエンコード済みパッチ埋め込みと組み合わせて、凍結された LLM へ統一的な視覚入力を提供し、テキスト中心の VQA の性能を大幅に向上させつつ、強力な一般 VQA 性能を維持します。OCR-VQA、VSR、MME のベンチマークで顕著な改善を達成します。

ABSTRACT

Vision Language Models (VLMs), which extend Large Language Models (LLM) by incorporating visual understanding capability, have demonstrated significant advancements in addressing open-ended visual question-answering (VQA) tasks. However, these models cannot accurately interpret images infused with text, a common occurrence in real-world scenarios. Standard procedures for extracting information from images often involve learning a fixed set of query embeddings. These embeddings are designed to encapsulate image contexts and are later used as soft prompt inputs in LLMs. Yet, this process is limited to the token count, potentially curtailing the recognition of scenes with text-rich context. To improve upon them, the present study introduces BLIVA: an augmented version of InstructBLIP with Visual Assistant. BLIVA incorporates the query embeddings from InstructBLIP and also directly projects encoded patch embeddings into the LLM, a technique inspired by LLaVA. This approach assists the model to capture intricate details potentially missed during the query decoding process. Empirical evidence demonstrates that our model, BLIVA, significantly enhances performance in processing text-rich VQA benchmarks (up to 17.76% in OCR-VQA benchmark) and in undertaking general (not particularly text-rich) VQA benchmarks (up to 7.9% in Visual Spatial Reasoning benchmark), and achieved 17.72% overall improvement in a comprehensive multimodal LLM benchmark (MME), comparing to our baseline InstructBLIP. BLIVA demonstrates significant capability in decoding real-world images, irrespective of text presence. To demonstrate the broad industry applications enabled by BLIVA, we evaluate the model using a new dataset comprising YouTube thumbnails paired with question-answer sets across 11 diverse categories. Our code and models are freely accessible at https://github.com/mlpc-ucsd/BLIVA.

研究の動機と目的

• 実世界のシナリオを反映した画像内のテキストの解釈を改善するため、マルチモーダル LLM におけるテキスト理解を促進。
• 学習済みクエリ埋め込みとエンコード済みパッチ埋め込みを組み合わせたハイブリッドな視覚入力戦略を提案。
• パッチ投影と Q-former の訓練を行いながら、LLM と視覚エンコーダを凍結させるトレーニング regime を示す。
• BLIVA をテキストが豊富な VQA ベンチマーク、一般 VQA ベンチマーク、MM L ベンチマーク、および実世界の YouTube サムネイルデータセットで評価する。

提案手法

• 画像からエンコード済みパッチ埋め込みを生成するためのビジョンタワーを使用。
• Q-former を介して視覚特徴を LLM に整合させる refined な学習済みクエリ埋め込みを抽出。
• エンコード済みパッチ埋め込みを全結合層で投影し、それらを学習済みクエリ埋め込みと連結。
• 結合した視覚埋め込みを凍結された LLM へソフトプロンプトとして入力。
• 2 段階の訓練パラダイムを採用：パッチ埋め込み投影の事前訓練を行い、次に指示調整データを用いて Q-former とパッチ投影を微調整する一方で、視覚エンコーダと LLM を凍結。

実験結果

リサーチクエスチョン

• RQ1 学習済みクエリ埋め込みとエンコード済みパッチ埋め込みを組み合わせることで、単独で用いる場合と比較してテキストが豊富な視覚質問応答を改善できるか。
• RQ2 2 段階の訓練パラダイム（パッチ埋め込み投影の事前訓練に続く指示調整）がおよぶテキスト中心および一般 VQA に対する影響はどうなるか。
• RQ3 BLIVA は OCR が豊富なベンチマーク、一般 VQA、マルチモーダル LLM ベンチマーク（MME）において、既存手法と比較してどの程度の性能を示すか。
• RQ4 BLIVA は YouTube サムネイルのような実世界のテキスト豊富な画像へ一般化できるか。

主な発見

• BLIVA は OCR-VQA（テキスト中心の VQA）でベースラインより最大 17.76% の改善を達成。
• BLIVA は一般的な（テキストが豊富でない）VQA ベンチマークで視覚的空間推論の向上を最大 7.9% の改善で実現。
• BLIVA は MM E ベンチマークで InstructBLIP ベースラインと比較して全体で 17.72% の改善を達成。
• BLIVA は OCR が豊富なデータセットと YouTube サムネイル課題で高い性能を示し、実世界での適用性を示唆。
• アブレーションにより、エンコード済みパッチ埋め込みの追加の利点と2 段階訓練スキームの必要性が確認され、LLM と視覚エンコーダを凍結することで破局的忘却と訓練の複雑さが軽減される。