[論文レビュー] Generalizable Entity Grounding via Assistance of Large Language Model

Qi Lu, Yiwen Chen+6 more|arXiv (Cornell University)|Feb 4, 2024

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

本稿では、長文キャプションから意味的名詞を抽出するために大規模言語モデル（LMM）を活用し、クラスに依存しないセグメンテーションモデルを用いてエンティティマスクを生成する汎用性の高いエンティティグランドイングフレームワーク、GELLAを提案する。カラーマップ符号化戦略とResoBlendモジュールを導入し、低解像度のCLIP特徴と高解像度のマスク特徴を統合することで、計算コストを著しく削減しつつ、効率的で柔軟かつ高精度なパンタピックナラティブグランドイングを実現する。複数のベンチマークで最先端の手法を上回る性能を示した。

ABSTRACT

In this work, we propose a novel approach to densely ground visual entities from a long caption. We leverage a large multimodal model (LMM) to extract semantic nouns, a class-agnostic segmentation model to generate entity-level segmentation, and the proposed multi-modal feature fusion module to associate each semantic noun with its corresponding segmentation mask. Additionally, we introduce a strategy of encoding entity segmentation masks into a colormap, enabling the preservation of fine-grained predictions from features of high-resolution masks. This approach allows us to extract visual features from low-resolution images using the CLIP vision encoder in the LMM, which is more computationally efficient than existing approaches that use an additional encoder for high-resolution images. Our comprehensive experiments demonstrate the superiority of our method, outperforming state-of-the-art techniques on three tasks, including panoptic narrative grounding, referring expression segmentation, and panoptic segmentation.

研究の動機と目的

• 既存のエンティティグランドイング手法が直線的で計算コストが高く、特定のセグメンテーションパイプラインに強く依存しているという限界を是正すること。
• キャプション生成とセグメンテーションのコンponentを分離することで、長文キャプションからの柔軟で汎用性の高いエンティティグランドイングを可能にすること。
• 高解像度画像エンコーダーを代替する軽量なカラーマップエンコーダーを導入することで、細粒度のマスク特徴を保持しつつ計算コストを削減すること。
• ResoBlendモジュールとCLIPベースの埋め込みを用いて、言語と視覚モダリティ間の特徴整合性を向上させること。
• アーキテクチャ的制約なしに最先端のセグメンテーションモデルとLLMを統合できるフレームワークを設計すること。

提案手法

• 大規模マルチモーダルモデル（LMM）を活用し、長文キャプションを生成するとともに、それらから意味的名詞を抽出する。
• クラスに依存しないセグメンテーションモデル（例：EntitySeg）を用いて、エンティティレベルのセグメンテーションマスクを生成する。
• マスクを一意なランダムカラーで符号化することで、高解像度の詳細を保持しつつ、低コストな処理を可能にするカラーマップ符号化を実施する。
• 軽量な構造を持つカラーマップエンコーダーを採用し、高解像度画像エンコーダーの必要性を回避して視覚特徴を抽出する。
• CLIP視覚エンコーダー（低解像度画像）とカラーマップエンコーダー（高解像度マスク）の特徴を統合するためのResoBlendモジュールを導入する。
• 学習可能な関連性モジュールを用いて、$<$ SEG $>$ トークン埋め込みとエンティティマスク特徴を、両者ともCLIP画像空間から得られるようにすることで、一貫性のあるクロスマodal整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 高解像度画像エンコーダーを必要とせず、長文キャプションからの汎用的エンティティグランドイングを実現できるフレームワークは存在するか？
• RQ2 カラーマップベースのマスク符号化は、計算コストを削減しつつも、細粒度のセグメンテーション詳細をどれほど効果的に保持できるか？
• RQ3 ResoBlendモジュールは、低解像度画像特徴と高解像度マスク特徴の特徴統合をどの程度向上させるか？
• RQ4 本フレームワークは、多様な事前学習済みLLMおよびセグメンテーションモデルを統合する柔軟性を備えつつ、高い性能を維持できるか？
• RQ5 複数のエンティティグランドイングタスクにおいて、精度と推論効率の両面で最先端手法と比較して、本手法はどのように優れているか？

主な発見

• GELLAは、パノプティックナラティブグランドイング（69.8 AR）、参照表現セグメンテーション、パノプティックセグメンテーションの3つのベンチマークで最先端の手法を上回った。
• カラーマップ符号化戦略により、高解像度マスク特徴の保持が可能であり、LISAと比較して計算コストを85％以上削減した。推論時間は5.5秒から1.2秒に短縮された。
• アブレーションスタディの結果、関連性モジュールに追加の全結合層を追加しても性能向上が見られず、CLIP埋め込み特徴が既に同じ空間に適切に整合されていることが確認された。
• マスク2フォーマーにスウィン・ラージバックボーンを用いた場合、COCOパノプティックナラティブグランドイングベンチマークで69.8 ARを達成し、LISA（43.6 AR）や他の最先端手法を上回った。
• 本フレームワークは多様なセグメンテーションモデルと高い互換性を示し、EntitySegを用いた場合69.2 AR、Mask2Formerを用いた場合69.8 ARを達成した。これは、汎用性の高さを示している。
• 低解像度画像特徴（CLIPから得られる）を用いても高い性能を維持した。これは、正確なグランドイングには高解像度画像符号化が必ずしも必要ではないことを証明している。