[論文レビュー] Visual In-Context Learning for Large Vision-Language Models

Yucheng Zhou, Xiang Li+2 more|arXiv (Cornell University)|Feb 18, 2024

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は Visual In-Context Learning (VICL) を導入し、Visual Demonstration Retrieval、Intent-Oriented Image Summarization、Intent-Oriented Demonstration Composition を用いて LVLM の性能を向上させ、クロスモーダル推論を改善し、イン-context のアンラーニングを可能にする。

ABSTRACT

In Large Visual Language Models (LVLMs), the efficacy of In-Context Learning (ICL) remains limited by challenges in cross-modal interactions and representation disparities. To overcome these challenges, we introduce a novel Visual In-Context Learning (VICL) method comprising Visual Demonstration Retrieval, Intent-Oriented Image Summarization, and Intent-Oriented Demonstration Composition. Our approach retrieves images via ''Retrieval & Rerank'' paradigm, summarises images with task intent and task-specific visual parsing, and composes language-based demonstrations that reduce token count and alleviate cross-modal interaction problem. Experimental evaluations on five visual reasoning datasets demonstrate the effectiveness of our method. Moreover, our extensive experiments leverage information flow analysis to elucidate the effectiveness of our method, and investigate the impact of length and position of demonstrations for LVLM. The use of in-context unlearning further shows promise in resetting specific model knowledge without retraining.

研究の動機と目的

• LVLM のインコンテキスト学習（ICL）におけるクロスモーダル相互作用と表現のギャップを動機づけ、解決する。
• Visual Demonstration Retrieval、Intent-Oriented Image Summarization、Intent-Oriented Demonstration Composition の3つの要素を備えた VICL を提案する。
• VICL が5つの視覚推論データセットで LVLM の精度を改善することを示し、情報フローとデモンストレーションの長さ・順序を分析する。
• モデルの再訓練なしでイン-context のアンラーニング機能を実証する。

提案手法

• Visual Demonstration Retrieval は事前学習済みの画像エンコーダを用いて候補デモを取得し、VL-Enc モデルによるテキスト再ランク付けを行って関連性を精査する。
• Intent-Oriented Image Summarization (IOIS) は、画像-質問-回答の三つ組からタスク意図に整合した視覚要約を生成し、LVLM の認知的負荷を軽減する。
• Intent-Oriented Demonstration Composition (IODC) は、デモンストレーション中の画像を画像要約に置換し、S_i, Q_i, A_i を結合して統一デモンストレーションとしてトークン制限下で文脈を豊かにする。
• 情報フロー分析（テイラー展開ベースのサリエンシー）により、VICL が層やヘッド間で注意と情報をどのように移動させるかを評価する。
• イン-context アンラーニング実験は、デモンストレーションを通じて誤ラベル情報を再訓練なしで破棄する能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 VICL は複数の LVLM と視覚推論データセットにおいて、標準的な ICL やゼロショットのプロンプトを上回るのか。
• RQ2 視覚デモンストレーション取得、画像要約、デモンストレーション構成がどのように性能向上に寄与するか。
• RQ3 デモンストレーションの長さ、順序、視覚要約のタイプが LVLM に与える影響は何か。
• RQ4 VICL はモデル更新なしで効果的にイン-context アンラーニングを実現できるか。

主な発見

• VICL は4つの LVLM と5つのデータセット全てにおいて Zero-Shot および ICL を一貫して上回る。
• IOIS に基づく要約（およびその派生）は最良の結果を生み、IOIS が最大の向上を達成する。
• デモンストレーションの数を増やすと、一般に VICL が ICL よりも恩恵を受け、ICL の収益は減少する。
• デモンストレーションの順序、特に先頭と末尾の位置は、データセット全体で精度に顕著な影響を与える。
• イン-context アンラーニング：VICL は最高のアンラーニング精度を達成し、誤ラベルのデモンストレーションに対して堅牢である。