[論文レビュー] Evaluation and Enhancement of Semantic Grounding in Large Vision-Language Models

Jiaying Lu, Jinmeng Rao+6 more|arXiv (Cornell University)|Sep 7, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、色、数、素材などの細分化された属性をカバーする大規模かつ自動生成された選択式問題ベンチマーク（Msg-Mcq）を用いて、大規模な視覚言語モデル（LVLM）における意味的接地性を評価・向上させるデータ中心の手法を提案する。180,000件の細分化された会話インスタンスを用いたマルチモーダルインstructチューニングにより、7つのLVLMにおいて一貫した精度向上が達成され、最良のモデルではランダム推測より5.9%の向上を達成した。

ABSTRACT

Large Vision-Language Models (LVLMs) offer remarkable benefits for a variety of vision-language tasks. However, a challenge hindering their application in real-world scenarios, particularly regarding safety, robustness, and reliability, is their constrained semantic grounding ability, which pertains to connecting language to the physical-world entities or concepts referenced in images. Therefore, a crucial need arises for a comprehensive study to assess the semantic grounding ability of widely used LVLMs. Despite the significance, sufficient investigation in this direction is currently lacking. Our work bridges this gap by designing a pipeline for generating large-scale evaluation datasets covering fine-grained semantic information, such as color, number, material, etc., along with a thorough assessment of seven popular LVLMs' semantic grounding ability. Results highlight prevalent misgrounding across various aspects and degrees. To address this issue, we propose a data-centric enhancement method that aims to improve LVLMs' semantic grounding ability through multimodal instruction tuning on fine-grained conversations. Experiments on enhanced LVLMs demonstrate notable improvements in addressing misgrounding issues.

研究の動機と目的

• LVLMにおける意味的接地性の包括的評価の欠如に取り組み、実世界の応用における安全性と信頼性のための重要な能力を強化すること。
• 物理的実世界の実体の接地に焦点を当てた、多様で細分化された視覚言語テストサンプルを生成するスケーラブルで自動化されたパイプラインの設計。
• マルチモーダルで複数ラウンドのインstructチューニングを用いるデータ中心の強化手法を開発し、LVLMの意味的接地性を向上させること。
• 複数のLVLMで一貫した性能向上を可能にする再利用可能で高品質なインstructチューニングデータセットの提供。

提案手法

• 4種類の質問タイプと色、数、素材を含む6つの接地ターゲットをカバーする、LVLMの評価に適した選択式問題形式のMsg-Mcqを開発した。
• 構造化されたパイプラインを用いて、細分化された意味的属性を網羅する9,000件のテストサンプルを自動生成し、多様性とカバレッジを確保した。
• 複数ラウンドの会話、視覚プロンプト誘導認識、事実確認に焦点を当てた、180,000件の細分化されたマルチモーダルインストラクションインスタンスを収集した。
• 強化されたデータを用いて7つの最先端LVLMにインストラクションチューニングを適用し、エンドツーエンド最適化を可能にするとともに、接地性能の向上を実現した。
• 性能差の統計的有意性を検証するため、臨界差分析を用いて質問タイプや接地ターゲットごとのモデル性能を比較した。
• 評価と強化フレームワークを汎用的かつスケーラブルに設計し、アーキテクチャの変更なしに任意のLVLMでデータ中心のチューニングが可能であることを実現した。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端LVLMは、色、数、素材などの細分化された視覚的属性の接地において、どの程度の性能を示すか？
• RQ2 LVLMの意味的接地における主な失敗モードは何か？ また、それらは異なる質問形式や接地ターゲットごとにどのように変化するか？
• RQ3 特に収集済みのマルチモーダル会話に基づくインストラクションチューニングを含むデータ中心のアプローチが、LVLMの意味的接地能力を効果的に向上させられるか？
• RQ4 インストラクションチューニングによる性能向上は、異なるLVLMアーキテクチャ間でどの程度の差異を示すか？

主な発見

• 最も性能の高かったLVLM（LLaMA-Adapter）でも、選択式問題においてランダム推測よりわずかに5.9%の精度向上にとどまり、意味的接地性の著しい欠陥が示された。
• 大多数のLVLMは判断型および是正型の質問（例：Yes/No、穴埋め）では低い性能を示したが、記述型の質問（例：何、穴埋め）では比較的高い性能を示した。
• 180,000件の細分化されたマルチモーダルインストラクションインスタンスを用いたインストラクションチューニングにより、評価された7つのすべてのLVLMで一貫した精度向上が達成された。
• LaVINは、視覚エンコーダーと言語モデルの両方にトレーニング可能なアダプタを備えており、エンドツーエンド最適化が可能であるため、最も高い性能向上を示した。
• 全体的な向上は見られたが、一部のモデルでは特定のMCQ形式でわずかな精度低下が発生した—例としてLaVINは穴埋めMCQで15.20%の低下を示した—これはタスク固有の感受性を示している。
• 人間の性能はすべてのLVLMよりも著しく高く、意味的接地能力における依然として大きな格差が存在することが明らかになった。