[論文レビュー] Can Multimodal Large Language Models Truly Perform Multimodal In-Context Learning?

Shuo Chen, Zhen Han+7 more|arXiv (Cornell University)|Nov 29, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿は、視覚言語モデル（VLM）における文脈内学習（ICL）を調査し、デモンストレーションに含まれるテキスト情報がパフォーマンスを支配しているのに対し、視覚的コンテンツはクロスアテンションメカニズムのアーキテクチャ的制限のため、ほとんど影響を及ぼさないことを発見した。ICLの向上を図るため、著者らは視覚的および言語的モダリティ信号を併用してデモンストレーションを選択するMMICESを提案しており、複数のVLMおよびベンチマークで顕著なパフォーマンス向上を達成している。

ABSTRACT

Large Language Models (LLMs) with in-context learning (ICL) ability can quickly adapt to a specific context given a few demonstrations (demos). Recently, Multimodal Large Language Models (MLLMs) built upon LLMs have also shown multimodal ICL ability, i.e., responding to queries given a few multimodal demos, including images, queries, and answers. While ICL has been extensively studied on LLMs, its research on MLLMs remains limited. One essential question is whether these MLLMs can truly conduct multimodal ICL, or if only the textual modality is necessary. We investigate this question by examining two primary factors that influence ICL: 1) Demo content, i.e., understanding the influences of demo content in different modalities. 2) Demo selection strategy, i.e., how to select better multimodal demos for improved performance. Experiments revealed that multimodal ICL is predominantly driven by the textual content whereas the visual information in the demos has little influence. Interestingly, visual content is still necessary and useful for selecting demos to increase performance. Motivated by our analysis, we propose a simple yet effective approach, termed Mixed Modality In-Context Example Selection (MMICES), which considers both visual and language modalities when selecting demos. Extensive experiments are conducted to support our findings and verify the improvement brought by our method. Code is available at \url{https://chenxshuo.github.io/m-icl/}.

研究の動機と目的

• 視覚言語モデル（VLM）におけるマルチモーダル文脈内学習（ICL）デモンストレーションにおける視覚的および言語的情報の相対的寄与度を調査すること。
• デモンストレーションにおける視覚的情報が、VLMにおけるICLパフォーマンスにほとんど影響を及ぼさない理由を理解すること。
• より効果的なデモンストレーション選択戦略を構築し、ICLパフォーマンスの向上を図ること。この戦略は、視覚的および言語的モダリティを併用する。
• 提案手法を多様なVLMおよび視覚言語ベンチマークで検証すること。

提案手法

• 視覚的類似性を用いて候補を事前にフィルタリングし、次に言語モダリティを用いて順位付けを行う二段階のデモンストレーション選択手法である、混合モダリティ文脈内例選択（MMICES）を提案する。
• 言語ベースの順位付けの前に、視覚埋め込み類似度を用いて潜在的なデモンストレーション候補を事前フィルタリングする。
• 対照的言語モデリングを適用し、テキスト的内容に基づいてクエリとデモンストレーション候補間の関連スコアを計算する。
• 視覚的および言語的信号を統合された選択パイプラインに統合し、クエリに対して意味的および視覚的に関連性の高いデモンストレーションが選ばれるようにする。
• 視覚質問応答（VQA）、GQA、COCOキャプションなど、複数の視覚言語タスクにおいて、OpenFlamingo や IDEFICS などの異なるVLMを用いて手法を評価する。
• 少数の例（4ショットおよび8ショット）設定下で、ランダム選択および言語のみのベースライン（RICES）と比較する。

Figure 1 : In-context learning (2-shot) on visual question answering. Pre-trained VLMs can perform In-context Learning for a given query based on a few context demonstrations ( i.e . , a list of images, questions, and answers) selected from a support set.

実験結果

リサーチクエスチョン

• RQ1 視覚的モダリティと言語的モダリティのどちらが、視覚言語モデルにおける文脈内学習パフォーマンスの決定要因としてより顕著な役割を果たすか？
• RQ2 入力に含まれる視覚的情報がデモンストレーションに存在するにもかかわらず、なぜICLパフォーマンスにほとんど影響を及ぼさないのか？
• RQ3 視覚的および言語的モダリティを併用したデモンストレーション選択戦略が、VLMにおけるICLパフォーマンスの向上に寄与できるか？
• RQ4 モデルの内部アテンションメカニズムは、初期のデモンストレーションからの視覚トークンの影響をどのように制限しているか？
• RQ5 提案されたMMICES手法は、異なるVLMアーキテクチャおよび下流タスクにおいて一貫してICLパフォーマンスを向上させるか？

主な発見

• デモンストレーションにおけるテキスト情報が、VLMにおける文脈内学習パフォーマンスの主な駆動要因である。テキストを削除または破損させると、パフォーマンスが著しく低下する。
• デモンストレーションの画像を空の画像に置き換えた場合、パフォーマンス低下はほとんど認められず、視覚的コンテンツがICLにほとんど寄与していないことを示している。
• クロスアテンション層における1画像ごとのマスキング機構により、生成プロセス中に直接的な視覚トークンへのアクセスが制限され、過去のデモンストレーション画像の影響が制限されている。
• モデルの内部状態分析から、デモンストレーションからの視覚特徴は最終出力にほとんどまたは全く直接的な影響を及ぼさない一方で、テキスト埋め込みは注意機構および生成に強く影響していることが確認された。
• MMICESは、すべての評価対象モデルおよびデータセットでランダム選択およびRICESを上回り、特に低ショット（4ショットおよび8ショット）設定で顕著な向上を示した。
• OpenFlamingoのような小規模モデルにおいても、MMICESは一貫したパフォーマンス向上を達成しており、パrameter効率が重要な状況において特に効果的であることが示唆された。

Figure 2 : The ICL performance is almost the same when removing the visual information in the demonstration. Compared to the standard scenario, exclusion and replacement of images in the demonstration hardly impact the In-Context Learning performance (as shown in the first three bars of each sub-fig