[論文レビュー] The Segment Anything Model (SAM) for Remote Sensing Applications: From Zero to One Shot

Lucas Prado Osco, Qiusheng Wu+5 more|arXiv (Cornell University)|Jun 29, 2023

Remote-Sensing Image Classification被引用数 20

ひとこと要約

この研究は、リモートセンシングにおけるSAMを多スケールのUAV、航空機、衛星画像で評価し、GroundingDINOを用いたワンショットのテキストプロンプト強化を導入し、地理空間SAM適応のオープンソースコードを共有します。

ABSTRACT

Segmentation is an essential step for remote sensing image processing. This study aims to advance the application of the Segment Anything Model (SAM), an innovative image segmentation model by Meta AI, in the field of remote sensing image analysis. SAM is known for its exceptional generalization capabilities and zero-shot learning, making it a promising approach to processing aerial and orbital images from diverse geographical contexts. Our exploration involved testing SAM across multi-scale datasets using various input prompts, such as bounding boxes, individual points, and text descriptors. To enhance the model's performance, we implemented a novel automated technique that combines a text-prompt-derived general example with one-shot training. This adjustment resulted in an improvement in accuracy, underscoring SAM's potential for deployment in remote sensing imagery and reducing the need for manual annotation. Despite the limitations encountered with lower spatial resolution images, SAM exhibits promising adaptability to remote sensing data analysis. We recommend future research to enhance the model's proficiency through integration with supplementary fine-tuning techniques and other networks. Furthermore, we provide the open-source code of our modifications on online repositories, encouraging further and broader adaptations of SAM to the remote sensing domain.

研究の動機と目的

• UAV、航空機、衛星データなど、多様なリモートセンシングデータセット上でSAMのゼロショットセグメンテーション性能を評価する。
• リモートセンシングオブジェクトのSAMを改善するための1ショット、テキストプロンプトベースのファインチューニング手法を開発・評価する。
• セグメンテーション品質のためのプロンプトモダリティ（バウンディングボックス、ポイント、テキスト）を比較する。
• SAMベースの地理空間セグメンテーションワークフローを可能にするオープンソースツールを提供する。

提案手法

• SAM（ViT-Hバックボーン）をリモートセンシングデータとプロンプト（ゼロショットおよび1ショット）に適応させる。
• バウンディングボックス、ポイント、テキスト記述子を含むプロンプトと、GroundingDINOガイダンスを用いたテキストベースのワンショットを評価する。
• マルチスケールマスク用の2つの学習可能ウェイトとDice/Sigmoid Focal損失を用いたPerSAM-Fスタイルのファインチューニングを実装する。
• 解像度と対象が異なる3段階データセット（UAV、航空機、衛星）を用いて一般化を検証する。
• モザイクラスタへ出力を結合し、ベクター変換を可能にする SamGeo toolkit を開発する。

Figure 1: Schematic representation of the step-by-step process undertaken in this study to evaluate the efficacy of SAM’s approach in remote sensing image processing tasks.

実験結果

リサーチクエスチョン

• RQ1 SAMは、UAV・航空機・衛星データを横断する多スケールのリモートセンシング画像に対してゼロショットセグメンテーションをどれくらいうまく実行できるか？
• RQ2 テキストプロンプトと単一の例を組み合わせた1ショットのテキストプロンプトベースの強化により、リモートセンシングオブジェクトのSAMのセグメンテーションを改善できるか？
• RQ3 リモートセンシング文脈でSAMを導くのに効果的なプロンプトモダリティ（ボックス、ポイント、テキスト）は何で、それらはどのように比較されるか？
• RQ4 実際にSAMベースの地理空間セグメンテーションを支援するオープンソースツールとワークフローは何か？

主な発見

• SAMはリモートセンシングのセグメンテーションにおいて、UAV、航空機、衛星画像を横断する可能性を示し、プロンプトタイプの柔軟性を持つ。
• GroundingDINOとSAMを組み合わせた1ショットのテキストベースアプローチは、テキストプロンプトから対象表現を提供することでセグメンテーションを改善する。
• PerSAM-Fスタイルのファインチューニングで、マルチスケールマスクの2つの学習可能ウェイトを用い、リモートセンシングに共通する階層的な対象構造に対処し、セグメンテーションの忠実度を向上させる。
• 著者らはオープンソースコードと地理空間セグメンテーションパッケージを提供し、リモートセンシングワークフローへのSAM適用を促進する。

Figure 2: Collection of image samples utilized in our research. The top row features UAV-based imagery with bounding boxes and point labels, serving as prompts for SAM. The middle row displays airborne-captured data representing larger regions, with both points and a rectangular box provided as mode