[논문 리뷰] Adapting Segment Anything Model for Change Detection in HR Remote Sensing Images

Lei Ding, Kun Zhu외 4명|arXiv (Cornell University)|2023. 09. 04.

Remote-Sensing Image Classification인용 수 5

한 줄 요약

이 논문은 매우 고해상도(VHR) 위성 이미지에서 변화 감지(change detection, CD)를 위해 FastSAM 시각 기초 모델을 적응시키는 새로운 방법인 SAM-CD를 제안한다. 이는 작업에 특화된 변화 특징 집합을 위한 컨볼루션 어댑터와 시간적 일관성을 모델링하기 위한 작업 무관(semantics-agnostic) 의미 학습 브랜치를 통합함으로써 이루어진다. 이 방법은 표본 효율적인 학습을 통해 기존의 완전한 지도 학습 SOTA 방법을 능가하고, 제한된 학습 데이터로도 준지도 학습 방법과 유사한 성능을 달성한다.

ABSTRACT

Vision Foundation Models (VFMs) such as the Segment Anything Model (SAM) allow zero-shot or interactive segmentation of visual contents, thus they are quickly applied in a variety of visual scenes. However, their direct use in many Remote Sensing (RS) applications is often unsatisfactory due to the special imaging characteristics of RS images. In this work, we aim to utilize the strong visual recognition capabilities of VFMs to improve the change detection of high-resolution Remote Sensing Images (RSIs). We employ the visual encoder of FastSAM, an efficient variant of the SAM, to extract visual representations in RS scenes. To adapt FastSAM to focus on some specific ground objects in the RS scenes, we propose a convolutional adaptor to aggregate the task-oriented change information. Moreover, to utilize the semantic representations that are inherent to SAM features, we introduce a task-agnostic semantic learning branch to model the semantic latent in bi-temporal RSIs. The resulting method, SAMCD, obtains superior accuracy compared to the SOTA methods and exhibits a sample-efficient learning ability that is comparable to semi-supervised CD methods. To the best of our knowledge, this is the first work that adapts VFMs for the CD of HR RSIs.

연구 동기 및 목표

• 매우 고해상도(VHR) 위성 이미지(RSIs)에서 변화 감지(CD) 작업에 있어 부족한 레이블이 부여된 학습 데이터 문제를 해결하기 위해.
• 특히 FastSAM을 포함한 시각 기초 모델(VFMs)을 RSIs의 고유한 영상 특성과 도메인 이탈(domain shift)에 적응시켜 CD 성능을 향상시키기 위해.
• VFMs의 일반화 능력과 제로샷(zero-shot) 능력을 활용하여 대규모 완전 지도 학습 데이터에 대한 의존도를 줄이고 표본 효율적인 학습 방식을 도입하기 위해.
• 조명, 계절 변화 등 비의미적 시간적 변동성(예: 조명, 계절성)과 진정한 의미적 변화를 구분하기 위해 의미 잠재 표현을 명시적으로 모델링함으로써 성능을 향상시키기 위해.

제안 방법

• 이중 시점 VHR RSIs로부터 다중 해상도 시각 특징을 추출하기 위해 FastSAM의 시각 인코더를 활용한다.
• 이중 시점 표현을 융합하여 작업에 특화된 변화 특징을 집계하는 컨볼루션 어댑터 모듈을 도입한다.
• 시간적 제약 기반 목적함수를 사용하여 시간 영상 간 일관된 의미 표현 학습을 장려하는 작업 무관 의미 학습 브랜치를 통합한다.
• 다른 시간대의 동일 지리적 위치에서의 특징을 정렬하기 위해 대비 학습(contrastive learning) 목적함수를 적용하여 영상 변동성에 대한 강건성을 향상시킨다.
• 변화 감지 손실과 의미 일관성 손실의 조합을 통해 종합적으로 변화 세그멘테이션과 의미 표현 최적화를 동시에 수행하기 위해 모델을 엔드 투 엔드로 훈련한다.
• 이중 헤드 아키텍처를 활용: 하나의 헤드는 변화 예측을 위해, 다른 하나는 의미 임베딩을 위해 사용하여 두 작업의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 자연 영상과의 도메인 이탈이 존재하는 바에 걸쳐, FastSAM과 같은 시각 기초 모델(VFMs)이 VHR 위성 이미지에서의 변화 감지 작업에 효과적으로 적응될 수 있는가?
• RQ2 VFMs의 일반화 능력을 어떻게 활용하여 학습 데이터의 대규모 레이블이 부족한 상황에서도 CD 정확도를 향상시킬 수 있는가?
• RQ3 이중 시점 RSIs에서 의미 잠재 표현을 명시적으로 모델링하면, 조명이나 계절 효과와 같은 비의미적 시간적 변동성과 진정한 의미적 변화를 구분하는 데 도움이 될 수 있는가?
• RQ4 제안된 방법은 완전 지도 학습 및 준지도 학습 SOTA CD 방법과 비교해 어떤 표본 효율성을 가지는가?
• RQ5 작업 무관 의미 학습 브랜치는 명시적 의미 레이블이 없이도 CD 성능 향상에 기여할 수 있는가?

주요 결과

• SAM-CD는 전체 데이터를 사용했을 때 Levir-CD 데이터셋에서 IoU 84.26%와 OA 99.14%를 기록하며, 모든 완전 지도 학습 SOTA 방법을 능가하는 최고 성능을 달성한다.
• WHU-CD 데이터셋에서도 전체 학습 데이터를 사용했을 때 IoU 91.15%와 OA 99.60%를 기록하며, 비교된 모든 방법을 능가한다.
• 학습 데이터의 5%만으로도 SAM-CD는 Levir-CD에서 IoU 73.87%와 WHU-CD에서 IoU 66.91%를 달성하여 준지도 학습 방법과 유사한 강력한 표본 효율성을 보여준다.
• Levir-CD에서 40%와 100%의 학습 데이터를 사용했을 때, SAM-CD는 SemiCD와 UniMatch와 같은 준지도 학습 방법을 능가하며, WHU-CD에서는 5–20% 데이터로 2위를 기록한다.
• 절단 분석(Ablation study) 결과, 컨볼루션 어댑터와 작업 무관 의미 학습 브랜치 모두 성능 향상에 기여하며, 특히 영상 아티팩트와의 혼동을 방지하는 데서 두드러진 기여를 한다.
• 추론 속도는 상대적으로 느리므로, 실시간 배포를 위해 모델 압축 또는 distillation 기법이 필요하다.