[論文レビュー] LMEye: An Interactive Perception Network for Large Language Models

Yunxin Li, Baotian Hu+4 more|arXiv (Cornell University)|May 5, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

LMEyeは、大規模言語モデル（LLMs）が画像からタスク固有の視覚的特徴を動的に要求できるインタラクティブなパーリーピリーショングネットワークを導入し、静的視覚符号化を超えるマルチモーダル理解を向上させます。固定されたLLMと視覚エンコーダーに加え、リクエストベースの視覚的インタラクションモジュールを統合することで、LMEyeは4.4BパラメータでMMBenchおよびSEED-Benchで最先端のゼロショット性能を達成し、LLaVA（7B） や BLIP-2 よりも優れた性能を発揮しています。

ABSTRACT

Training a Multimodal Large Language Model (MLLM) from scratch, like GPT-4, is resource-intensive. Regarding Large Language Models (LLMs) as the core processor for multimodal information, our paper introduces LMEye, a human-like eye with a play-and-plug interactive perception network, designed to enable dynamic interaction between LLMs and external vision information. Previous methods incorporate visual information into LLMs with a simple visual mapping network or Q-former from BLIP-2. Such networks project the image feature once yet do not consider the interaction between the image and the human input query. Hence, the obtained visual information without being connected to human intention may be inadequate for LLMs to generate intention-following responses, which we refer to as static visual information. LMEye addresses this issue by allowing the LLM to request the desired visual information aligned with various human instructions, which we term as the dynamic visual information interaction. Specifically, LMEye consists of a simple visual mapping network to provide the basic perception of an image for LLMs. It also contains additional modules responsible for acquiring requests from LLMs, performing request-based visual information interaction, and transmitting the resulting interacted visual information to LLMs, respectively. In this way, LLMs act to understand the human query, deliver the corresponding request to the request-based visual information interaction module, and generate the response based on the interleaved multimodal information. We evaluate LMEye through extensive experiments on some multimodal benchmarks, demonstrating that it significantly improves the zero-shot performance on various multimodal tasks compared to previous methods, with less parameters.

研究の動機と目的

• 既存のマルチモーダルLLMにおける静的視覚特徴符号化の制限、すなわち、人間のクエリとの相互作用なしに一度だけマッピングされる視覚的特徴の限界を解消すること。
• ユーザーの指示に基づいて文脈的に関連する視覚的特徴をLLMが能動的に要求できるようにし、タスク固有の意図との整合性を高めること。
• LLMアーキテクチャを変更せずに、パラメータ効率的かつプラグアンドプレイ可能なフレームワークを構築すること。
• 動的視覚的インタラクションが、さまざまなマルチモーダルベンチマークで、たとえモデルサイズが小さくても、ゼロショット性能を顕著に向上させることを実証すること。

提案手法

• LMEyeは2段階のアーキテクチャを採用：まず、Q-Formerベースの視覚マッピングネットワークがLLM向けに基本的なグローバル画像特徴を提供する。
• 次に、リクエストベースの視覚情報インタラクション（RVII）モジュールが、タスク固有の視覚的特徴抽出を誘導するクエリをLLMが生成可能にする。
• LLMはユーザークエリと画像特徴を処理し、精錬された指示に適合した視覚的表現の抽出をRVIIモジュールにリクエストする。
• RVIIモジュールはアテンション機構を用いて、LLMのリクエストに関連する画像領域に注目し、テキストおよび基本画像特徴と統合されたインタラクティブな視覚的特徴を生成する。
• システム全体はパラメータ効率的な方法で訓練され、LLMおよび視覚エンコーダーを固定したまま、視覚から言語へのアダプタとRVIIモジュールのみを微調整する。
• フレームワークはさまざまなLLMおよび視覚エンコーダーと互換性があり、既存のマルチモーダルパイプラインへのプラグアンドプレイ統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LLMと視覚エンコーダー間の動的視覚的インタラクションは、静的視覚特徴マッピングに比べて、ゼロショットマルチモーダル性能を向上させることができるか？
• RQ2 リクエストベースの視覚的インタラクションメカニズムは、視覚質問応答および画像記述タスクにおいて、LLMの指示従いの応答生成能力をどのように向上させるか？
• RQ3 LMEyeのような軽量でパラメータ効率的なフレームワークは、より大きな複雑なMLLMに比べて、マルチモーダルベンチマークでどの程度優れた性能を発揮できるか？
• RQ4 多様なマルチモーダル指示従いデータの統合は、LLMにおけるインタラクティブなパーリーピリーショングの利点を強化するか？
• RQ5 提案手法は、アーキテクチャの変更なしに、さまざまなLLMのサイズやアーキテクチャに一般化可能か？

主な発見

• 同じLLM（OPT-1.3b）を用いた場合、LMEyeは標準的なBLIP-2に比べてOK-VQAベンチマークで5.0%の絶対的向上を達成した。
• 長文回答VQAでは、LLaMA-7bを用いたLMEyeがLLaVA（Vicuna-7b）を20%上回り、優れた推論および生成能力を示した。
• LMEyeは4.4BパラメータでMMBenchおよびSEED-Benchで最先端の性能を達成し、LLaVA（7B） や FROMAGe（6.7B） よりも優れた性能を発揮した。
• アブレーションスタディにより、RVIIモジュールがLLaMA-7b、OPT-1.3b、Vicuna-7bを含む複数のLLMでゼロショット性能を顕著に向上させることを確認した。
• 視覚質問応答、詳細な画像記述、マルチモーダル推論など、多様なタスクで一貫した向上が見られ、広範な適用可能性を示した。
• 小さなLLMを用いても高い性能を維持したため、動的視覚的インタラクションがモデルサイズの制限を補うことができることを実証した。