[論文レビュー] EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model

Yuxuan Zhang, Tianheng Cheng+8 more|arXiv (Cornell University)|Jun 28, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

EVF-SAMは、ビジュアルと言語の特徴をマルチモーダルエンコーダー（例：BEIT-3）の初期段階で統合することで、テキストプロンプトによる参照表現セグメンテーションのためのSegment Anything Model（SAM）を有効化するシンプルで効果的な手法を提案する。この手法は、先行のLLMベースの手法と比較して82%少ないパラメータでRefCOCO/+/gベンチマークで最先端の性能を達成しており、初期段階でのビジュアル・言語統合がテキストのみまたは後段統合のアプローチよりも顕著にセグメンテーション精度を向上させることを示している。

ABSTRACT

Segment Anything Model (SAM) has attracted widespread attention for its superior interactive segmentation capabilities with visual prompts while lacking further exploration of text prompts. In this paper, we empirically investigate what text prompt encoders (e.g., CLIP or LLM) are good for adapting SAM for referring expression segmentation and introduce the Early Vision-language Fusion-based SAM (EVF-SAM). EVF-SAM is a simple yet effective referring segmentation method which exploits multimodal prompts (i.e., image and text) and comprises a pre-trained vision-language model to generate referring prompts and a SAM model for segmentation. Surprisingly, we observe that: (1) multimodal prompts and (2) vision-language models with early fusion (e.g., BEIT-3) are beneficial for prompting SAM for accurate referring segmentation. Our experiments show that the proposed EVF-SAM based on BEIT-3 can obtain state-of-the-art performance on RefCOCO/+/g for referring expression segmentation and demonstrate the superiority of prompting SAM with early vision-language fusion. In addition, the proposed EVF-SAM with 1.32B parameters achieves remarkably higher performance while reducing nearly 82% of parameters compared to previous SAM methods based on large multimodal models.

研究の動機と目的

• Segment Anything Model（SAM）において、現在はポイントやボックスといったビジュアルプロンプトのみをサポートしているが、そのようなテキストプロンプトによるセグメンテーションの有効な手法の欠如に対処すること。
• SAMを参照表現セグメンテーション（RES）に適応させるために、CLIPや大規模言語モデル（LLMs）といったテキストプロンプトエンコーダーのうち、どのものが最も効果的であるかを調査すること。
• マルチモーダルプロンプト（画像＋テキスト）と初期ビジュアル・言語統合が、SAMのRESタスクにおける性能向上に寄与するかどうかを検討すること。
• 複雑なインstructテンプレートやLLM微調整の高コストを回避する、軽量で効率的かつエンドツーエンドのフレームワークを構築すること。
• 初期統合が、自然言語記述によるSAMプロンプト提示において、後段統合や単独のテキストエンコーダーを上回ることを実証すること。

提案手法

• EVF-SAMは、初期ビジュアル・言語統合（例：BEIT-3）を有する事前学習済みマルチモーダルエンコーダーを統合し、SAMのプロンプトエンコーダーに適合するための共同画像・テキスト埋め込みを生成する。
• この手法は、マルチモーダル埋め込みをSAMのプロンプトエンコーダーに適合する埋め込みに変換するシンプルなプロジェクターヘッドを用いる。
• 標準的なクロスエントロピー損失を用いて、RefCOCO、RefCOCO+、RefCOCOgなどの参照表現セグメンテーションデータセット上でエンドツーエンドで訓練される。
• アーキテクチャの変更なしに、市販の基盤モデル（SAMおよびBEIT-3）を活用することで、スケーラビリティとパラメータ効率性を実現する。
• 初期統合エンコーダーの豊富なマルチモーダル表現を活用することで、空間的および記述的言語を含む短い・長い両方の参照表現に対応可能となる。
• 軽量バージョンのEVF-SAM with Efficient-SAMは、6億パラメータの削減を達成しながらも、優れた性能を維持している。

実験結果

リサーチクエスチョン

• RQ1 画像とテキストの両方を含むマルチモーダルプロンプトが、テキストのみのプロンプトと比較して、SAMの参照表現セグメンテーション性能を向上させるか？
• RQ2 プロンプトエンコーダーにおける初期ビジュアル・言語統合が、後段統合や単独のテキストエンコーダーと比較して、自然言語によるSAMプロンプト提示においてより効果的か？
• RQ3 大規模言語モデル（LLMs）と比べてはるかに少ないパラメータを持つ軽量なビジョnl・言語モデル（例：BEIT-3）が、SAMの参照セグメンテーションにプロンプト提示する際にLLMsを上回る性能を示せるか？
• RQ4 マルチモーダルエンコーダーの選択（例：CLIP、ViLT、BEIT-3）が、テキストプロンプトによるSAMのセグメンテーション精度にどのように影響するか？
• RQ5 EVF-SAMは、SAMのバリエーション（例：SAM-Huge 対 Efficient-SAM）およびベンチマーク（RefCOCO/+/g）の間でどの程度一般化可能か？

主な発見

• BEIT-3-Largeを搭載したEVF-SAMは、RefCOCO/+/gベンチマークで最先端の性能を達成し、平均mIoUが78.0に達する。これは、先行のLLMベースの手法を上回っている。
• LISA（先行のSOTA LLMベース手法）と比較して、パラメータを82%削減し、13.2億パラメータで、より大きなモデルを凌駆する性能を達成している。
• BEIT-3-Base（より小さいエンコーダー）では顕著な性能低下（例：71.6の平均mIoU）が確認され、マルチモーダルエンコーダーのモデル容量が極めて重要であることが裏付けられた。
• RefCOCOgでは、CLIPベースのプロンプト提示と比較して、EVF-SAMは平均mIoUで12.7%の向上を達成しており、長く複雑な参照表現の理解が優れていることを示している。
• 手作業で作成したインstructテンプレートに依存せず、少ない訓練データでも優れた性能を達成しており、LLMベースのアプローチとは対照的である。
• EVF-SAMのEfficient-SAM-Sバージョンは、SAM-Hugeと比較して性能の低下がほとんどないため、フレームワークのSAMバリエーション間での互換性と効率性が実証された。