[论文解读] Joint Spatio-Temporal Modeling for the Semantic Change Detection in Remote Sensing Images

Lei Ding, Jing Zhang+4 more|arXiv (Cornell University)|Dec 10, 2022

Remote-Sensing Image Classification被引用 9

一句话总结

本文提出SCanNet，一种用于遥感图像语义变化检测（SCD）的新型联合时空建模框架，结合三分支卷积神经网络与语义变化变换器（SCanFormer），以建模双时相语义转换并强化时序一致性。该方法在基准数据集上实现最先进性能，通过提升对非显著变化的检测能力并减少结果差异，使F-score提升超过1%。

ABSTRACT

Semantic Change Detection (SCD) refers to the task of simultaneously extracting the changed areas and the semantic categories (before and after the changes) in Remote Sensing Images (RSIs). This is more meaningful than Binary Change Detection (BCD) since it enables detailed change analysis in the observed areas. Previous works established triple-branch Convolutional Neural Network (CNN) architectures as the paradigm for SCD. However, it remains challenging to exploit semantic information with a limited amount of change samples. In this work, we investigate to jointly consider the spatio-temporal dependencies to improve the accuracy of SCD. First, we propose a Semantic Change Transformer (SCanFormer) to explicitly model the 'from-to' semantic transitions between the bi-temporal RSIs. Then, we introduce a semantic learning scheme to leverage the spatio-temporal constraints, which are coherent to the SCD task, to guide the learning of semantic changes. The resulting network (SCanNet) significantly outperforms the baseline method in terms of both detection of critical semantic changes and semantic consistency in the obtained bi-temporal results. It achieves the SOTA accuracy on two benchmark datasets for the SCD.

研究动机与目标

• 为解决在外观、光照和遮挡等因素影响下，遥感图像中非显著语义变化检测易出现误检或漏检的问题。
• 减少双时相语义分割结果之间的差异，例如在两个时间点均标记为同一类但实际发生改变的情况。
• 通过联合时空依赖关系，显式建模双时相图像之间的“从-到”语义转换。
• 将任务特定先验知识（尤其是双时相一致性）融入学习过程，以提升语义一致性和泛化能力。
• 通过整合空间上下文、变化表征与长程时序建模，实现语义变化检测的最先进性能。

提出的方法

• SCanNet框架采用三个并行的编码器-解码器CNN分支，从双时相遥感图像中提取空间与时间语义特征。
• 提出一种新型SCanFormer模块，作为CSWin变换器的变体，用于在特征空间中建模长程依赖关系与‘语义-变化’关系。
• 提出两种任务特定约束：语义一致性目标，用于对齐双时相预测结果；伪学习目标，用于监督无变化区域的语义嵌入。
• 学习方案将这些约束作为额外监督信号，提升模型泛化能力并减少结果不一致性。
• 采用交叉熵损失与所提出的约束损失联合训练网络，实现语义分割与变化检测的端到端联合优化。
• 在两个基准数据集SECOND与Landsat-SCD上评估该架构，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 联合建模空间与时间依赖关系是否能提升遥感图像中非显著语义变化的检测能力？
• RQ2 如何显式强制实现双时相一致性，以减少语义变化检测中自相矛盾的分割结果？
• RQ3 将任务特定先验知识（如变化模式）融入模型，能在多大程度上提升SCD模型的性能？
• RQ4 与标准CNN相比，集成基于变换器的模块（SCanFormer）是否能显著提升长程时序建模能力？
• RQ5 所提出的训练方案是否能在F-score与变化图的语义一致性方面超越现有最先进方法？

主要发现

• 在SECOND数据集上，SCanNet相较于先前最先进方法，F-scd得分提升1%以上，展现出更高的检测精度。
• 在Landsat-SCD数据集上，该方法成功检测出主要变化类型，如沙漠→农田（占变化的61.74%），且在无变化区域的误检率极低（仅0.26%）。
• 混淆矩阵显示，与HRSCD-str.4和SCDNet相比，SCanNet在复杂变化模式下产生的错误转换（如地面→地面）更少。
• 所提出的语义一致性目标显著减少了结果差异，最终预测中未观察到自相矛盾的标签。
• 消融实验证实，SCanFormer模块与双学习约束均对性能提升有显著贡献，尤其在检测细微语义变化方面表现突出。
• 该方法在检测关键但非显著的变化（如植被退化）方面优于现有最先进模型，而这些变化常被先前方法所忽略。