[論文レビュー] Wetland mapping from sparse annotations with satellite image time series and temporal-aware segment anything model

Shuai Yuan, Tianwu Lin+9 more|arXiv (Cornell University)|Jan 16, 2026

Remote Sensing in Agriculture被引用数 0

ひとこと要約

tldr: WetSAMは点サポートのスパースさと衛星時系列を統合してSAMを動的湿地セグメンテーションに適応させ、さまざまな地域で高い精度を達成します。

ABSTRACT

Accurate wetland mapping is essential for ecosystem monitoring, yet dense pixel-level annotation is prohibitively expensive and practical applications usually rely on sparse point labels, under which existing deep learning models perform poorly, while strong seasonal and inter-annual wetland dynamics further render single-date imagery inadequate and lead to significant mapping errors; although foundation models such as SAM show promising generalization from point prompts, they are inherently designed for static images and fail to model temporal information, resulting in fragmented masks in heterogeneous wetlands. To overcome these limitations, we propose WetSAM, a SAM-based framework that integrates satellite image time series for wetland mapping from sparse point supervision through a dual-branch design, where a temporally prompted branch extends SAM with hierarchical adapters and dynamic temporal aggregation to disentangle wetland characteristics from phenological variability, and a spatial branch employs a temporally constrained region-growing strategy to generate reliable dense pseudo-labels, while a bidirectional consistency regularization jointly optimizes both branches. Extensive experiments across eight global regions of approximately 5,000 km2 each demonstrate that WetSAM substantially outperforms state-of-the-art methods, achieving an average F1-score of 85.58%, and delivering accurate and structurally consistent wetland segmentation with minimal labeling effort, highlighting its strong generalization capability and potential for scalable, low-cost, high-resolution wetland mapping.

研究の動機と目的

• 課題：強い時間ダイナミクスの下でスパースポイントラベルで湿地をマッピングすることの課題に対処する。
• Segment Anything Model (SAM)を衛星時系列データへ適応させ、湿地の境界 delineation を行う。
• スパースな点から時間的–領域成長アプローチを用いて空間的に一貫した密な監 supervision を開発する。
• 時間的ブランチと空間ブランチの整合性を課してセグメンテーション品質を向上させる。
• 多様なグローバル湿地でWetSAMを検証し、スケーラビリティと一般化能力を示す。

提案手法

• 時間的適応ブランチと空間的領域成長ブランチのデュアルブランチWetSAMフレームワークを導入する。
• 時間的ブランチでは階層的マルチスケールアダプターと動的時間集約モジュールを実装し、時系列を傾向と高周波イベントに分解する。
• 正弦埋め込みを用いて時間的位置を符号化し、GRUとマルチヘッドアテンションを使用した学習可能な傾向–残差分解と融合させる。
• 融合された時間対応特徴をクエリとして、ポイントベースのセマンティックコンテキストトークンをキー/バリューとして用い、SAMデコーダを再利用する。
• 空間ブランチではスパース種子から時間制約付きの領域成長を行い、トレーニング用の密な疑似ラベルを生成する専用ヘッドを用意する。
• 空間予測にはLovász-Softmax損失、時間予測には点ごとのクロスエントロピー損失を用い、両ヘッドを結合する予測整合性損失を採用する。
• スパースな点で訓練し、反復的な疑似ラベルの改良と非微分可能な領域成長疑似ラベル生成器を用いて空間的一貫性を強制する。

Figure 1: Overview. We propose an end-to-end, single- stage model for wetland mapping from satellite image time series under sparse point supervision. Note the difficulty of semantic segmentation of wetlands from a single image, highlighting the need for modeling temporal dynamics and spatial contex

実験結果

リサーチクエスチョン

• RQ1 スパース点による監督を時系列画像と組み合わせて、正確な湿地マップを作成できるか？
• RQ2 SAMをリモートセンシングの時系列データへ拡張して湿地の現象周期と水文学を捉えるにはどうするか？
• RQ3 空間的領域成長戦略は湿地のスパース注釈から信頼できる密な監 supervisionを生み出せるか？
• RQ4 時間的予測と空間的予測の双方向の整合性を強制することでセグメンテーション品質は向上するか？

主な発見

• WetSAMは8つのグローバル湿地にわたって平均F1スコア85.58%を達成。
• 最小限の注釈労力の下で従来の最先端ベースラインよりもWetSAMが優れている。
• 傾向と高周波イベントへの時間的分解は、現象変動による湿地の識別を助ける。
• 時間指向の領域成長は境界の delineationを改善する密で構造的一貫した疑似ラベルを提供する。
• 双方向の整合性正則化は時間的・空間的予測を調整し、堅牢なセグメンテーションを実現する。
• 高解像度湿地マッピングに対する強い一般化能力とスケーラビリティを示す。

Figure 2: The WetSAM framework. (a) is the overview of the framework. (b) is the detailed architecture of the Encoder.