[論文レビュー] Promptable Foundation Models for SAR Remote Sensing: Adapting the Segment Anything Model for Snow Avalanche Segmentation

Riccardo Gelato, Carlo Sgaravatti+3 more|arXiv (Cornell University)|Jan 3, 2026

Cryospheric studies and observations被引用数 0

ひとこと要約

論文は Segment Anything Model (SAM) を SAR を用いた雪崩のセグメンテーションへ適用する。アダプター、マルチエンコーダ入力処理、堅牢な BB プロンプト、計算効率の高い学習スキームを用いて、注釈速度とセグメンテーションの堅牢性を向上させる。

ABSTRACT

Remote sensing solutions for avalanche segmentation and mapping are key to supporting risk forecasting and mitigation in mountain regions. Synthetic Aperture Radar (SAR) imagery from Sentinel-1 can be effectively used for this task, but training an effective detection model requires gathering a large dataset with high-quality annotations from domain experts, which is prohibitively time-consuming. In this work, we aim to facilitate and accelerate the annotation of SAR images for avalanche mapping. We build on the Segment Anything Model (SAM), a segmentation foundation model trained on natural images, and tailor it to Sentinel-1 SAR data. Adapting SAM to our use-case requires addressing several domain-specific challenges: (i) domain mismatch, since SAM was not trained on satellite/SAR imagery; (ii) input adaptation, because SAR products typically provide more than three channels, while SAM is constrained to RGB images; (iii) robustness to imprecise prompts that can affect target identification and degrade the segmentation quality, an issue exacerbated in small, low-contrast avalanches; and (iv) training efficiency, since standard fine-tuning is computationally demanding for SAM. We tackle these challenges through a combination of adapters to mitigate the domain gap, multiple encoders to handle multi-channel SAR inputs, prompt-engineering strategies to improve avalanche localization accuracy, and a training algorithm that limits the training time of the encoder, which is recognized as the major bottleneck. We integrate the resulting model into an annotation tool and show experimentally that it speeds up the annotation of SAR images.

研究の動機と目的

• 自然画像と SAR データ間の domain shift を雪崩セグメンテーションのために解消する。
• SAM のパラメータのごく一部のみを再学習する軽量なドメイン適応ワークフローを開発する。
• 元の SAM デコーダーアーキテクチャを変更せずにマルチチャネル SAR 入力処理を可能にする。
• プロンプト設計と学習戦略を通じて、プロンプトが不正確な場合や小さな雪崩ターゲットに対する堅牢性を向上させる。
• モデルを半自動 SAR 注釈ツールへ統合してラベリングを高速化する実用的な効果を示す。

提案手法

• ViT ブロックごとに埋め込まれたアダプターを用いて SAM をファインチューニングし、エンコーダの学習可能パラメータを約 7M（エンコーダの約 10%）に抑えつつデコーダは二値雪崩セグメンテーション用に微調整する。
• 雪崩マスク上でデコーダを訓練して、プロンプトベースのセグメンテーション機能を維持する。
• 主要エンコーダ（[VV0, VV1, DEM]）と副エンコーダ（[VH0, VH1, SA]）を用いた六つの SAR 関連チャネルを処理するマルチエンコーダ設定を実装し、主要デコーダ空間への教師付き整合性を確保する。
• プロンプト不正確さに頑健な BB（境界ボックス）プロンプト戦略を適用し、最小外接ボックス、ランダム BB ひずみ、重複ボックスの統合を含める。
• デコーダが複数のプロンプトを並列処理できるように画像埋め込みを再利用する資源最適化学習パイプラインを導入し、学習時間を大幅に短縮する。
• 三段階の学習手順を採用：Phase 1 は一次モダリティでのドメイン適応、Phase 2 は凍結デコーダで二次モダリティの整合、Phase 3 は Selective Fusion Gate (SFG) による埋め込みの融合。
• Dice loss を用いてクラス不均衡に対処し、最終的な二値化には固定確率閾値を設定し、スペックルノイズと過適合を抑制するデータ拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 SAM を小規模なドメイン特化アダプターに基づくファインチューニング戦略で SAR 雪崩セグメンテーションへ効果的に適用できるか。
• RQ2 マルチエンコーダ入力アーキテクチャは補完的な SAR チャネルと地形データを活用してセグメンテーションを改善するか。
• RQ3 BB ベースのプロンプト戦略と頑健性拡張は、プロンプトの不正確さや小さな雪崩に対してセグメンテーション性能を維持または向上させるか。
• RQ4 画像埋め込みを再利用する資源効率の高い学習は、収束性や精度を損なうことなく実用的な高速化を達成できるか。
• RQ5 適応した SAM を半自動注釈ツールへ統合することが、SAR 雪崩注釈ワークフローを加速させるか。

主な発見

• アダプターを用いたエンコーダ調整とデコーダのファインチューニングを組み合わせることで、雪崩クラスの IoU を競争力のある水準に達成し、完全なファインチューニングよりはるかに少ない学習可能パラメータ（約 7M）を実現する。
• 2 エンコーダ（マルチチャネル）設計と教師付き埋め込み整合性、および Selective Fusion Gate により、補完的な SAR チャネルを活用してセグメンテーションを向上させる。
• BB プロンプトを拡張したプロンプト頑健性戦略により、プロンプト精度への感度を低減し、完全画像プロンプトを用いたプロンプトフリーのセグメンテーションを可能にする。
• 共有画像埋め込みによる資源最適化により、訓練時間を約 63% 削減しつつ収束挙動を維持する。
• 統合ツールは半自動注釈をサポートし、SAR 画像における雪崩マスク作成を大幅に高速化する。