[論文レビュー] Text2Seg: Remote Sensing Image Semantic Segmentation via Text-Guided Visual Foundation Models

Jielu Zhang, Zhongliang Zhou+5 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Image and Video Retrieval Techniques被引用数 31

ひとこと要約

Text2Seg は、複数の視覚的ファウンデーションモデル（SAM、Grounding DINO、CLIP）を組み合わせ、リモートセンシングの意味的セグメンテーションをテキストプロンプトで SAM を導く、訓練不要のパイプラインを提案します。さまざまなデータセットを横断したリモートセンシングで定性的な改善を示し、ドメインシフトとカテゴリ定義の制限について論じます。

ABSTRACT

Remote sensing imagery has attracted significant attention in recent years due to its instrumental role in global environmental monitoring, land usage monitoring, and more. As image databases grow each year, performing automatic segmentation with deep learning models has gradually become the standard approach for processing the data. Despite the improved performance of current models, certain limitations remain unresolved. Firstly, training deep learning models for segmentation requires per-pixel annotations. Given the large size of datasets, only a small portion is fully annotated and ready for training. Additionally, the high intra-dataset variance in remote sensing data limits the transfer learning ability of such models. Although recently proposed generic segmentation models like SAM have shown promising results in zero-shot instance-level segmentation, adapting them to semantic segmentation is a non-trivial task. To tackle these challenges, we propose a novel method named Text2Seg for remote sensing semantic segmentation. Text2Seg overcomes the dependency on extensive annotations by employing an automatic prompt generation process using different visual foundation models (VFMs), which are trained to understand semantic information in various ways. This approach not only reduces the need for fully annotated datasets but also enhances the model's ability to generalize across diverse datasets. Evaluations on four widely adopted remote sensing datasets demonstrate that Text2Seg significantly improves zero-shot prediction performance compared to the vanilla SAM model, with relative improvements ranging from 31% to 225%. Our code is available at https://github.com/Douglas2Code/Text2Seg.

研究の動機と目的

• 視覚的ファウンデーションモデルを、最小限のタスク固有の調整でリモートセンシングの意味セグメンテーションに再利用する動機づけと探究。
• 複数のFMを活用して、SAMへテキスト指向設定で指示を提供するガイダンスを生成する、プロンプトエンジニアリングパイプラインを提案する。
• センサ、地域、解像度を横断する頑健性と一般化可能性を評価するため、複数のリモートセンシングデータセットでパイプラインを評価する。

提案手法

• 視覚ファウンデーションモデル（SAM、Grounding DINO、CLIP、CLIP Surgery）を三層パイプラインに組み込み、統合を説明する。
• Grounding DINO と CLIP Surgery からの pre-SAM プロンプト（ポイント、境界ボックス）を使用して SAM のセグメンテーションを制約する。
• テキストプロンプトとの意味的類似性に基づき SAM由来マスクを選択するため、CLIP を用いた post-SAM フィルタリングを行う。
• データセット全体で、モデル入力の組み合わせ（Grounding DINO+SAM、CLIPS+SAM、SAM+CLIP、Grounding DINO+CLIPS+SAM など）をテストする。
• リモートセンシングにおけるセグメンテーション境界を評価するベースラインとして、グリッドポイントプロンプトを用いた SAM の汎用セグメンテーションを調査する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の微調整なしで、複数の視覚ファウンデーションモデルを効果的に組み合わせて、リモートセンシングの意味的セグメンテーションを SAM に導くことができるか？
• RQ2 多様なリモートセンシングデータセットで最も正確な意味セグメンテーションを生み出す pre-SAM および post-SAM プロンプトの組み合わせはどれか？
• RQ3 リモートセンシングデータのドメイン固有の特性（例：カラー チャンネル、解像度、センサー）が、テキスト誘導FMパイプラインの性能にどのように影響するか？
• RQ4 高解像度のリモートセンシング画像に適用した場合の、現在のFM（SAM、Grounding DINO、CLIP）の限界と故障モードは何か？

主な発見

• Grounding DINO + SAM の組み合わせは、UAV や都市景観でしばしば正確で保守的なセグメンテーション結果を生む。
• Grounding DINO、CLIP Surgery、SAM、CLIP の組み合わせは、データセット全体で一般的に最も包括的なセグメンテーションを生む。
• データセットとカテゴリにより性能は異なり、建物、道路、水は通常、荒地、森林、背景カテゴリよりも容易である。
• Vaihingen および Potsdam データセットは、センサ特性（例：NIR効果）により樹木のセグメンテーションに影響を受け、著しく異なる反応を示す。
• パイプラインは定性的に有望な結果を示すが、より抽象的なカテゴリおよびドメイン固有のカラー チャンネルには限界がある。
• CLIPベースの後処理は SAM の結果をフィルタリングできるが、テキストプロンプトや画像特性に応じて誤りを導入する可能性がある。