[논문 리뷰] Promptable Foundation Models for SAR Remote Sensing: Adapting the Segment Anything Model for Snow Avalanche Segmentation

Riccardo Gelato, Carlo Sgaravatti외 3명|arXiv (Cornell University)|2026. 01. 03.

Cryospheric studies and observations인용 수 0

한 줄 요약

본 논문은 Segment Anything Model (SAM)을 SAR 기반 눈사태 분할에 어댑터, 다중 인코더 입력 처리, 견고한 BB 프롬프트 및 계산 효율적인 학습 체계를 사용하여 적응시키고 주석 속도와 분할 강건성을 향상시킨다.

ABSTRACT

Remote sensing solutions for avalanche segmentation and mapping are key to supporting risk forecasting and mitigation in mountain regions. Synthetic Aperture Radar (SAR) imagery from Sentinel-1 can be effectively used for this task, but training an effective detection model requires gathering a large dataset with high-quality annotations from domain experts, which is prohibitively time-consuming. In this work, we aim to facilitate and accelerate the annotation of SAR images for avalanche mapping. We build on the Segment Anything Model (SAM), a segmentation foundation model trained on natural images, and tailor it to Sentinel-1 SAR data. Adapting SAM to our use-case requires addressing several domain-specific challenges: (i) domain mismatch, since SAM was not trained on satellite/SAR imagery; (ii) input adaptation, because SAR products typically provide more than three channels, while SAM is constrained to RGB images; (iii) robustness to imprecise prompts that can affect target identification and degrade the segmentation quality, an issue exacerbated in small, low-contrast avalanches; and (iv) training efficiency, since standard fine-tuning is computationally demanding for SAM. We tackle these challenges through a combination of adapters to mitigate the domain gap, multiple encoders to handle multi-channel SAR inputs, prompt-engineering strategies to improve avalanche localization accuracy, and a training algorithm that limits the training time of the encoder, which is recognized as the major bottleneck. We integrate the resulting model into an annotation tool and show experimentally that it speeds up the annotation of SAR images.

연구 동기 및 목표

• 자연 이미지와 SAR 데이터 간의 도메인 시프트를 눈사태 분할 문제에서 해결한다.
• SAM 매개변수의 작은 부분만 재학습시키는 경량 도메인 적응 워크플로우를 개발한다.
• 원래 SAM 디코더 아키텍처를 변경하지 않으면서 다채널 SAR 입력 처리를 가능하게 한다.
• 프롬프트 엔지니어링 및 학습 전략을 통해 부정확한 프롬프트와 작은 눈사태 대상에 대한 강건성을 향상시킨다.
• 레이블링 속도를 높이기 위해 모델을 반자동 SAR 주석 도구에 통합하여 실용적 이점을 입증한다.

제안 방법

• 이미지 인코더를 ~7M trainable parameters (≈10% of the encoder)로 조정하기 위해 ViT 블록마다 삽입된 어댑터를 사용하여 SAM을 미세조정하고, 디코더는 이진 눈사태 분할을 위해 미세조정된 상태를 유지한다.
• 프롬프트 기반 분할 능력을 보존하기 위해 눈사태 마스크에서 디코더를 학습한다.
• 주요 인코더([VV0, VV1, DEM])와 보조 인코더([VH0, VH1, SA])를 사용하여 6개의 SAR 관련 채널을 처리하기 위한 다중 인코더 구성을 구현하고, 1차 디코더 공간에 감독 정렬되도록 한다.
• 포함 박스(BB) 프롬프트 전략을 프롬프트 부정확성에 강건하도록 향상시키고, 최소 외접 박스, 무작위 BB 섭동, 겹치는 박스 합치기를 포함한다.
• 이미지 임베딩을 재사용하여 디코더가 이미지당 여러 프롬프트를 병렬로 처리하도록 하는 자원 최적화 학습 파이프라인을 도입하여 학습 시간을 크게 줄인다.
• 세 단계 학습 절차를 사용한다: 1단계는 주요 모달리티를 통한 도메인 적응, 2단계는 고정된 디코더와 함께 보조 모달리티의 정렬, 3단계는 Selective Fusion Gate (SFG)를 통한 임베딩 융합.
• 클래스 불균형에 대응하기 위해 Dice 손실을 활용하고, 최종 이진화에 고정된 확률 임계치를 적용하며, 스펙클 노이즈와 과적합을 방지하기 위한 데이터 증강을 수행한다.

실험 결과

연구 질문

• RQ1 작은 규모의 도메인 특화 어댑터 기반 미세조정 전략을 사용하여 SAM을 SAR 눈사태 분할에 효과적으로 적응시킬 수 있는가?
• RQ2 상호 보완적 SAR 채널과 지형 데이터를 활용하여 다중 인코더 입력 아키텍처가 분할 성능을 개선하는가?
• RQ3 강건성 증가를 포함한 BB 기반 프롬프트 전략이 프롬프트 부정확성과 작은 눈사태에서 분할 성능을 유지하거나 개선하는가?
• RQ4 이미지 임베딩 재사용을 통한 자원 효율적 학습이 수렴이나 정확도를 희생하지 않으면서 실질적인 속도 향상을 달성할 수 있는가?
• RQ5 적응된 SAM을 반자동 주석 도구에 통합하여 SAR 눈사태 주석 워크플로우를 가속화하는가?

주요 결과

• 어댑터 기반 인코더 튜닝과 디코더 미세조정을 결합하면 전체 미세조정보다 훨씬 적은 학습 가능 매개변수(~7M)로 눈사태 클래스에 대해 경쟁력 있는 IoU를 달성한다.
• 감독 임베딩 정렬과 Selective Fusion Gate를 갖춘 이중 인코더(다중 채널) 설계가 보완적인 SAR 채널을 활용하여 분할을 향상시킨다.
• 증강된 BB 프롬프트를 사용하는 프롬프트 강건성 전략이 프롬프트 정밀도에 대한 민감성을 줄이고 전체 이미지 프롬프트를 사용한 프롬프트 없는 분할을 가능하게 한다.
• 공유 이미지 임베딩을 통한 자원 최적화는 수렴 동작을 유지하면서 학습 시간을 약 63% 줄인다.
• 통합 도구는 반자동 주석을 지원하여 SAR 이미지에서 눈사태 마스크 생성 속도를 크게 높인다.