[論文レビュー] Prompt-Based Segmentation at Multiple Resolutions and Lighting Conditions using Segment Anything Model 2

Osher Rafaeli, Tal Svoray+2 more|arXiv (Cornell University)|Aug 13, 2024

Color perception and designPsychology被引用数 3

ひとこと要約

本研究は、異なる解像度（0.15 m および 0.25 m）および照明条件の下で、空中画像における太陽電池モジュールの検出に対して、プロンプトベースのセグメンテーション（Segment Anything Model 2（SAM 2）と従来のCNN（Eff-UNet））を評価する。SAM 2は、特に最適でない照明条件下でSAMを上回り、YOLOv9が生成するバウンディングボックスをプロンプトとして用いることで、人為的なクリックによる点プロンプトよりも顕著に精度が向上する。一方、高解像度データでは、Eff-UNetがYOLOプロンプトを用いたSAM 2をわずかに上回り、プロンプトバイアスに起因する誤検出が少ないことから、より良好な性能を示す。

ABSTRACT

This paper provides insights on the effectiveness of the zero shot, prompt-based Segment Anything Model (SAM) and its updated versions, SAM 2 and SAM 2.1, along with the non-promptable conventional neural network (CNN), for segmenting solar panels in RGB aerial remote sensing imagery. The study evaluates these models across diverse lighting conditions, spatial resolutions, and prompt strategies. SAM 2 showed slight improvements over SAM, while SAM 2.1 demonstrated notable improvements, particularly in sub-optimal lighting and low resolution conditions. SAM models, when prompted by user-defined boxes, outperformed CNN in all scenarios; in particular, user-box prompts were found crucial for achieving reasonable performance in low resolution data. Additionally, under high resolution, YOLOv9 automatic prompting outperformed user-points prompting by providing reliable prompts to SAM. Under low resolution, SAM 2.1 prompted by user points showed similar performance to SAM 2.1 prompted by YOLOv9, highlighting its zero shot improvements with a single click. In high resolution with optimal lighting imagery, Eff-UNet outperformed SAMs prompted by YOLOv9, while under sub-optimal lighting conditions, Eff-UNet, and SAM 2.1 prompted by YOLOv9, had similar performance. However, SAM is more resource-intensive, and despite improved inference time of SAM 2.1, Eff-UNet is more suitable for automatic segmentation in high resolution data. This research details strengths and limitations of each model and outlines the robustness of user-prompted image segmentation models.

研究の動機と目的

• 異なるリモートセンシング画像の条件下における、プロンプトベースのSAM 2と従来のCNN（Eff-UNet）による太陽電池モジュールのセグメンテーション性能を評価すること。
• ユーザーが作成した点、ユーザーが作成したバウンディングボックス、YOLOv9が生成するボックスの3つの異なるプロンプト戦略が、SAMおよびSAM 2におけるセグメンテーション精度に与える影響を評価すること。
• 低解像度および高解像度、最適および最適でない照明条件の下で、完全自動（Eff-UNet）と半自動（人為的プロンプトを用いたSAM/SAM 2）のアプローチを比較すること。
• 特に解像度および照明の変動に対する耐性という観点から、各モデルの強みと限界を特定すること。

提案手法

• 本研究では、イスラエルのベアシェヴァから得られた3つの航空画像データセット（2015年、2017年、2022年）を用い、空間解像度が0.25 m（低解像度）および0.15 m（高解像度）であり、照明条件が異なる。
• 評価対象のセグメンテーションモデルは以下の通り：(1) SAM 2およびSAM（プロンプトベース）、(2) Eff-UNet（完全自動CNN）、(3) YOLOv9が生成するオブジェクト候補ボックスをプロンプトとして用いたSAM/SAM 2。
• テストされたプロンプト戦略：ユーザーがクリックした点、ユーザーが描画したバウンディングボックス、YOLOv9が生成するバウンディングボックス（SAMおよびSAM 2用）。
• 性能評価には、すべてのデータセットでIoU、F1スコア、適合率、再現率、正答率を用い、各データセットに3000個のラベル付き太陽電池モジュールが含まれる。
• YOLOv9モデルは、SAMおよびSAM 2のためのプロンプトとしてオブジェクト候補を生成し、エンドツーエンドの自動プロンプト生成を可能にする。
• Eff-UNetは、コン pound-scaled EfficientNetエンコーダーとU-Netデコーダーを組み合わせ、ImageNet事前学習済み特徴量を用いてエンドツーエンドで訓練された。

実験結果

リサーチクエスチョン

• RQ1 SAM 2は、最適でない照明および低解像度条件下で、SAMと比較してどのように太陽電池モジュールのセグメンテーション性能を発揮するか？
• RQ2 YOLOv9が生成するバウンディングボックスをプロンプトとして用いる場合、SAMおよびSAM 2において、人為的クリックによる点プロンプトよりも精度が向上するか？
• RQ3 異なる画像解像度および照明条件の下で、完全自動のEff-UNetとプロンプトベースのSAMおよびSAM 2の性能はどのように比較されるか？
• RQ4 プロンプトの品質およびモデルアーキテクチャが、リモートセンシング画像セグメンテーションにおける誤検出率に与える影響は何か？

主な発見

• ユーザーが作成したボックスをプロンプトとして用いた場合、SAM 2は低照度条件下でIoU 0.75、F1スコア 0.85を達成し、SAM（IoU: 0.74、F1: 0.84）を顕著に上回った。
• 点プロンプトを用いた場合、SAM 2はIoU 0.51、F1スコア 0.62を達成し、SAMの0.49（IoU）および0.61（F1スコア）を上回った。
• YOLOv9が生成するボックスをプロンプトとして用いることで、人為的クリックによる点プロンプトよりも高い精度が得られた。SAM 2では、IoU 0.54、F1スコア 0.63を達成し、点プロンプトの0.49および0.61を上回った。
• 高解像度画像では、Eff-UNetがIoU 0.55、F1スコア 0.64を達成し、YOLOv9プロンプトを用いたSAM 2（IoU: 0.54、F1: 0.63）をわずかに上回り、プロンプトバイアスに起因する誤検出が少ないことから、より高い耐性を示した。
• 低解像度条件下では、ユーザーが作成したボックスプロンプトが、妥当な性能を達成するために不可欠であった。プロンプトがなければ、SAMモデルはセグメンテーション精度に著しく影響を受けることがわかった。
• SAMモデルはプロンプト品質により敏感であり、不完全なYOLOv9ボックスが入力された場合、誤検出率が顕著に上昇した。一方、Eff-UNetはすべての条件下で一貫した性能を示した。