[論文レビュー] Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects

Junyu Lu, Dixiang Zhang+7 more|arXiv (Cornell University)|Dec 8, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Lyricsは、画像タギング、オブジェクト検出、セマンティックセグメンテーションを統合した視覚リファイナを用いて、セマンティックに注意を払った視覚的オブジェクトを統合することで、細分化された言語・視覚の整合性を向上させる二段階のビジョン・ランゲージ事前学習およびインstruct微調整フレームワークを提案する。局所的およびグローバルな視覚特徴からのマルチスケールクエリを活用することで、Lyricsは13のビジョン・ランゲージベンチマークでSOTAまたは競争力のある性能を達成し、詳細な画像理解および対話タスクにおける視覚的幻覚や事実誤認を顕著に低減する。

ABSTRACT

Large Vision Language Models (LVLMs) have demonstrated impressive zero-shot capabilities in various vision-language dialogue scenarios. However, the absence of fine-grained visual object detection hinders the model from understanding the details of images, leading to irreparable visual hallucinations and factual errors. In this paper, we propose Lyrics, a novel multi-modal pre-training and instruction fine-tuning paradigm that bootstraps vision-language alignment from fine-grained cross-modal collaboration. Building on the foundation of BLIP-2, Lyrics infuses local visual features extracted from a visual refiner that includes image tagging, object detection and semantic segmentation modules into the Querying Transformer, while on the text side, the language inputs equip the boundary boxes and tags derived from the visual refiner. We further introduce a two-stage training scheme, in which the pre-training stage bridges the modality gap through explicit and comprehensive vision-language alignment targets. During the instruction fine-tuning stage, we introduce semantic-aware visual feature extraction, a crucial method that enables the model to extract informative features from concrete visual objects. Our approach achieves robust performance on 13 datasets across various vision-language tasks, and demonstrates promising multi-modal understanding, perception and conversation capabilities in 11 scenario-based benchmark toolkits.

研究の動機と目的

• 標準的な画像エンコーダーからの局所的視覚特徴の不足により、大規模ビジョン・ランゲージモデル（LVLMs）が細分化された視覚的詳細を捉えることができないという制限に対処すること。
• テキストの指示と正確な視覚的オブジェクト表現との間の整合性を強化することで、ビジョン・ランゲージタスクにおける視覚的幻覚や事実誤認を低減すること。
• 明示的でマルチスケールの視覚的グランドイングを用いて、現実世界の対話シナリオにおけるマルチモーダル理解および生成能力を向上させること。
• インstructフォローアップおよび推論に効果的に統合できる一般化されたLVLMを開発すること。

提案手法

• 画像タギング、オブジェクト検出、セマンティックセグメンテーションモジュールを備えた視覚リファイナを導入し、局所的視覚特徴および空間的表現を抽出する。
• グローバルな画像エンコーダー特徴とリファイナからの局所的視覚特徴を圧縮・整合化するため、マルチスケールクエリイングトランスフォーマー（MQ-Former）を採用する。
• 二段階の訓練パラダイムを採用する：第一段階では、ビジョン・ランゲージの整合化タスクを通じてモダリティギャップを埋めるためのマルチタスク事前学習を行う。第二段階では、LLMにおけるLoRA適応を用いたインstruct微調整を行う。
• 視覚リファイナからの境界ボックスおよびタグを構造化された入力として活用し、MQ-Formerにおける注目メカニズムをガイドし、グランドイングの正確性を向上させる。
• 学習可能なクエリベクトルを活用して、視覚的表現をLLMに抽出し、エンドツーエンドのインstructフォローアップ生成を実現する。
• インstruct微調整段階で低ランク適応（LoRA）を適用し、事前学習済みの知識を保持したままLLMを効率的に微調整する。

実験結果

リサーチクエスチョン

• RQ1 細分化された視覚的オブジェクト特徴を統合することで、LVLMにおけるビジョン・ランゲージの整合性を向上させ、視覚的幻覚を低減できるか？
• RQ2 マルチモジュールの視覚リファイナから得られるセマンティックに注意を払った視覚的特徴は、多様なビジョン・ランゲージタスクにおけるゼロショットおよびフェイントショット性能にどのように影響を与えるか？
• RQ3 二段階の訓練フレームワーク（整合化のための事前学習とインstructフォローアップのための微調整）は、詳細な画像理解および推論をどの程度向上させるか？
• RQ4 グローバルおよび局所的視覚信号を併用する場合、MQ-Formerアーキテクチャは画像エンコーダーとLLMsの間のモダリティギャップを効果的に埋め合わせることができるか？

主な発見

• Lyricsは、画像キャプション、視覚的質問応答、参照表現理解を含む13のホールドアウトされたビジョン・ランゲージベンチマークでSOTAまたは競争力のある性能を達成する。
• アブレーションスタディの結果、空間的表現や事前学習段階を削除すると、特に空間的推論を要するタスク（例：TextVQA、RefCOCOg）で顕著な性能低下が生じることが示された。
• 細分化された視覚信号が欠落している状況では、BLIP-2 や InstructBLIP といった従来モデルは事実誤認や幻覚を生じるが、Lyricsは物体の数、色、動き、空間的関係を正確に特定する。
• Lyricsは優れたフェイントショット学習能力を示し、最小限のコンテキスト例でのみ安定した上行性の性能トレンドを示し、より大きなバックボーンを搭載したモデルを上回る性能を発揮する。
• 定性的な結果から、Lyricsは物体の属性や空間的関係を含む正確で根拠のある記述を生成できることを確認した。例えば、特定の服装や顔貌特徴を持つ4人のスキーヤーが休憩姿勢であることを正しく特定する。
• モデルはLLMから共通の知識推論およびコード実行理解を効果的に継承しており、シンボリック知識と視覚的知識の統合が成功していることが示された。