[论文解读] Adapting Segment Anything Model for Change Detection in HR Remote Sensing Images

Lei Ding, Kun Zhu+4 more|arXiv (Cornell University)|Sep 4, 2023

Remote-Sensing Image Classification被引用 5

一句话总结

本文提出SAM-CD，一种新颖方法，通过集成用于任务特定变化特征聚合的卷积适配器以及用于建模时间一致性的任务无关语义学习分支，将FastSAM视觉基础模型适配于超分辨率（VHR）遥感图像的变化检测。该方法在样本高效学习下实现最先进精度，优于全监督SOTA方法，并在有限训练数据下与半监督方法表现相当。

ABSTRACT

Vision Foundation Models (VFMs) such as the Segment Anything Model (SAM) allow zero-shot or interactive segmentation of visual contents, thus they are quickly applied in a variety of visual scenes. However, their direct use in many Remote Sensing (RS) applications is often unsatisfactory due to the special imaging characteristics of RS images. In this work, we aim to utilize the strong visual recognition capabilities of VFMs to improve the change detection of high-resolution Remote Sensing Images (RSIs). We employ the visual encoder of FastSAM, an efficient variant of the SAM, to extract visual representations in RS scenes. To adapt FastSAM to focus on some specific ground objects in the RS scenes, we propose a convolutional adaptor to aggregate the task-oriented change information. Moreover, to utilize the semantic representations that are inherent to SAM features, we introduce a task-agnostic semantic learning branch to model the semantic latent in bi-temporal RSIs. The resulting method, SAMCD, obtains superior accuracy compared to the SOTA methods and exhibits a sample-efficient learning ability that is comparable to semi-supervised CD methods. To the best of our knowledge, this is the first work that adapts VFMs for the CD of HR RSIs.

研究动机与目标

• 为解决在超分辨率（VHR）遥感图像（RSIs）变化检测中标注训练数据有限的挑战。
• 将视觉基础模型（VFMs），特别是FastSAM，适配于遥感图像的独特成像特性与领域偏移，以提升变化检测性能。
• 通过样本高效方式利用VFMs的泛化能力与零样本能力，减少对大规模全监督数据集的依赖。
• 通过显式建模语义潜在表征，提升对语义变化与非语义时间变化（如光照、季节性）的区分能力。

提出的方法

• 利用FastSAM的视觉编码器从双时相VHR RSI中提取多尺度视觉特征。
• 引入卷积适配器模块，通过融合双时相表征来聚合任务特定的变化特征。
• 整合一个任务无关的语义学习分支，通过基于时间约束的目标函数，鼓励在时间图像间保持一致的语义表征学习。
• 应用对比学习目标，对齐不同时相下同一地理位置的特征，增强对成像变化的鲁棒性。
• 通过变化检测损失与语义一致性损失的组合，端到端训练模型，联合优化变化分割与语义表征。
• 采用双头架构：一个头用于变化预测，另一个头用于语义嵌入，实现两个任务的联合优化。

实验结果

研究问题

• RQ1 尽管存在与自然图像的领域偏移，视觉基础模型（如FastSAM）能否在VHR遥感图像变化检测任务中有效适配？
• RQ2 如何利用VFMs的泛化能力，在减少对大规模标注训练数据依赖的同时提升变化检测精度？
• RQ3 在双时相RSI中建模语义潜在表征，能否帮助区分真实语义变化与非语义时间变化（如光照或季节效应）？
• RQ4 与全监督和半监督SOTA变化检测方法相比，所提方法的样本效率如何？
• RQ5 任务无关的语义学习分支是否能在无需显式语义标注的情况下提升变化检测性能？

主要发现

• 在Levir-CD数据集上，SAM-CD在使用100%数据训练时达到84.26%的IoU与99.14%的OA，性能超越所有全监督SOTA方法。
• 在WHU-CD数据集上，SAM-CD在使用全量训练数据时达到91.15%的IoU与99.60%的OA，优于所有对比方法。
• 仅使用5%的训练数据，SAM-CD在Levir-CD上达到73.87%的IoU，在WHU-CD上达到66.91%的IoU，展现出与半监督方法相当的强样本效率。
• 在Levir-CD上，使用40%和100%训练数据时，SAM-CD优于半监督方法SemiCD与UniMatch；在WHU-CD上使用5–20%数据时排名第二。
• 消融研究证实，卷积适配器与任务无关语义学习分支均对性能提升有显著贡献，尤其在区分语义变化与成像伪影方面。
• 推理速度相对较慢，表明需要采用模型压缩或蒸馏技术以实现实时部署。