[논문 리뷰] Wetland mapping from sparse annotations with satellite image time series and temporal-aware segment anything model

Shuai Yuan, Tianwu Lin외 9명|arXiv (Cornell University)|2026. 01. 16.

Remote Sensing in Agriculture인용 수 0

한 줄 요약

WetSAM은 위성 시계열과 희소 점 보조를 결합해 SAM을 동적 습지 분할에 맞게 조정하여 다양한 지역에서 높은 정확도를 달성합니다.

ABSTRACT

Accurate wetland mapping is essential for ecosystem monitoring, yet dense pixel-level annotation is prohibitively expensive and practical applications usually rely on sparse point labels, under which existing deep learning models perform poorly, while strong seasonal and inter-annual wetland dynamics further render single-date imagery inadequate and lead to significant mapping errors; although foundation models such as SAM show promising generalization from point prompts, they are inherently designed for static images and fail to model temporal information, resulting in fragmented masks in heterogeneous wetlands. To overcome these limitations, we propose WetSAM, a SAM-based framework that integrates satellite image time series for wetland mapping from sparse point supervision through a dual-branch design, where a temporally prompted branch extends SAM with hierarchical adapters and dynamic temporal aggregation to disentangle wetland characteristics from phenological variability, and a spatial branch employs a temporally constrained region-growing strategy to generate reliable dense pseudo-labels, while a bidirectional consistency regularization jointly optimizes both branches. Extensive experiments across eight global regions of approximately 5,000 km2 each demonstrate that WetSAM substantially outperforms state-of-the-art methods, achieving an average F1-score of 85.58%, and delivering accurate and structurally consistent wetland segmentation with minimal labeling effort, highlighting its strong generalization capability and potential for scalable, low-cost, high-resolution wetland mapping.

연구 동기 및 목표

• 강한 시간적 역학 하에서 희소 포인트 라벨로 습지를 매핑하는 문제를 해결한다.
• Segment Anything Model (SAM)을 위성 시계열 데이터에 적응시켜 습지 경계화를 수행한다.
• 시간-영역 확장을 통한 희소 포인트에서 공간상 일관된 밀집 감독을 개발한다.
• 시간적 및 공간적 가지의 일관성을 강제하여 분할 품질을 향상시킨다.
• 다양한 글로벌 습지에 대해 WetSAM을 검증하여 확장성과 일반화를 입증한다.

제안 방법

• 시간 적응 가지와 공간 영역 확장 가지로 구성된 이중 가지 WetSAM 프레임워크를 도입한다.
• 시간 가지에서는 트렌드와 고주파 이벤트로 시계열을 분해하기 위해 계층적 다중 스케일 어댑터와 동적 시간적 집계 모듈을 구현한다.
• 사인웨이브 임베딩으로 시간 위치를 인코딩하고 GRU와 다중헤드 어텐션을 사용한 학습 가능한 트렌드-리마인더 분해와 융합한다.
• 퓨전된 시계열 인식 특성을 질의로 사용하고 점 기반 의미 맥락 토큰을 키/값으로 사용하여 SAM 디코더를 재사용한다.
• 공간 가지에서 희소 시드로부터 시간 제약 영역 확장을 수행하여 전용 헤드를 학습시키기 위한 밀집 의사 레이블을 생성한다.
• 공간 예측에는 Lovász-Softmax 손실을, 시간 예측에는 포인트 단위 교차 엔트로피 손실을 사용하고 두 가지 헤드를 연결하는 예측 정렬 손실을 추가한다.
• 희소 포인트로 학습하고, 반복적인 의사 레이블 정제 및 비미분 가능 영역 확장 의사 레이블 생성기로 공간 일관성을 강제한다.

Figure 1: Overview. We propose an end-to-end, single- stage model for wetland mapping from satellite image time series under sparse point supervision. Note the difficulty of semantic segmentation of wetlands from a single image, highlighting the need for modeling temporal dynamics and spatial contex

실험 결과

연구 질문

• RQ1 희소 포인트 보조를 시간 시계열 이미지와 함께 활용해 정확한 습지 지도를 생성할 수 있는가?
• RQ2 SAM을 원격 감지 시계열 데이터로 확장하여 습지의 동형성(phenology)과 수문학을 포착할 수 있는가?
• RQ3 공간 영역 확장 전략이 습지에서 희소 주석으로부터 신뢰할 수 있는 밀집 감독을 생성할 수 있는가?
• RQ4 시간적 예측과 공간적 예측 간의 양방향 일관성을 강제하는 것이 분할 품질을 향상시키는가?

주요 결과

• WetSAM은 전 세계 8개 습지에서 평균 F1-점수 85.58%를 달성한다.
• WetSAM은 최소 주석 작업으로 최첨단 baselines를 능가한다.
• 트렌드와 고주파 이벤트로의 시간 분해가 습지와 계절적 변동을 구분하는 데 도움이 된다.
• 시간 가이드 영역 확장은 경계 구분을 향상시키는 밀집하고 구조적으로 일관된 의사 레이블을 제공한다.
• 양방향 일관성 정규화가 시간적 및 공간적 예측을 맞춰 견고한 분할을 이끈다.
• 고해상도 습지 매핑에서 강한 일반화와 확장성을 입증한다.

Figure 2: The WetSAM framework. (a) is the overview of the framework. (b) is the detailed architecture of the Encoder.