[论文解读] Asymmetric Siamese Networks for Semantic Change Detection.

Kunping Yang, Gui-Song Xia+4 more|arXiv (Cornell University)|Oct 12, 2020

Remote-Sensing Image Classification参考文献 49被引用 15

一句话总结

本论文提出了一种用于多时相航拍图像语义变化检测的非对称孪生网络（ASN），通过使用结构不同的模块中的特征对来解决因土地覆盖分布差异导致的类别模糊性问题。该方法在多个主干网络上实现了最先进性能，其有效性在新构建的大规模数据集SECOND上得到验证，同时通过自适应阈值学习和分离的卡帕系数实现了更优的训练与评估。

ABSTRACT

Given two multi-temporal aerial images, semantic change detection aims to locate the land-cover variations and identify their categories with pixel-wise boundaries. The problem has demonstrated promising potentials in many earth vision related tasks, such as precise urban planning and natural resource management. Existing state-of-the-art algorithms mainly identify the changed pixels through symmetric modules, which would suffer from categorical ambiguity caused by changes related to totally different land-cover distributions. In this paper, we present an asymmetric siamese network (ASN) to locate and identify semantic changes through feature pairs obtained from modules of widely different structures, which involve different spatial ranges and quantities of parameters to factor in the discrepancy across different land-cover distributions. To better train and evaluate our model, we create a large-scale well-annotated SEmantic Change detectiON Dataset (SECOND), while an adaptive threshold learning (ATL) module and a separated kappa (SeK) coefficient are proposed to alleviate the influences of label imbalance in model training and evaluation. The experimental results demonstrate that the proposed model can stably outperform the state-of-the-art algorithms with different encoder backbones.

研究动机与目标

• 解决由于图像对之间土地覆盖分布显著差异所导致的语义变化检测中的类别模糊性挑战。
• 开发一种模型，利用非对称、结构不同的模块所提取的特征表示，以更好地捕捉土地覆盖类型的空间与分布差异。
• 构建一个大规模、标注完善的基准数据集SECOND，以支持语义变化检测模型的稳健训练与评估。
• 通过自适应阈值学习与分离的卡帕系数，减轻模型训练与评估过程中类别标签不平衡的影响。
• 在多种主干网络上实现与最先进方法相比的一致性性能提升。

提出的方法

• 设计一种非对称孪生网络（ASN），通过具有不同感受野与参数量的独立、非对称编码器处理两幅多时相图像。
• 从ASN的两个分支中提取特征对，其非对称性有助于更有效地建模土地覆盖类型在空间与分布上的差异。
• 引入自适应阈值学习（ATL）模块，在训练过程中动态调整分类阈值，以减少类别不平衡带来的偏差。
• 提出一种分离的卡帕（SeK）系数用于评估，该方法分别计算变化与未变化类别的卡帕分数，从而更准确地反映模型在类别不平衡数据上的性能。
• 采用交叉熵损失结合焦点损失组件进行端到端训练，进一步缓解类别不平衡问题。
• 通过特征级拼接与优化头模块生成具有精确边界像素级变化预测。

实验结果

研究问题

• RQ1 非对称孪生架构是否能通过更有效地建模土地覆盖分布的差异，相比对称结构提升语义变化检测性能？
• RQ2 所提出的自适应阈值学习（ATL）模块在多大程度上减轻了训练过程中类别标签不平衡的负面影响？
• RQ3 与标准卡帕指标相比，分离的卡帕（SeK）系数如何提升在类别不平衡数据集上模型评估的可靠性？
• RQ4 所提出的方法在语义变化检测任务中是否能在不同主干网络架构（如ResNet与EfficientNet）上实现良好泛化？
• RQ5 在新构建的大规模数据集上，ASN模型的性能与最先进方法相比如何？

主要发现

• 所提出的非对称孪生网络（ASN）在包括ResNet与EfficientNet在内的多个主干网络上，均实现了与最先进方法相比的一致性性能提升。
• 自适应阈值学习（ATL）模块在训练过程中有效减轻了类别不平衡的负面影响，显著提升了对罕见变化类别的检测稳定性与准确性。
• 分离的卡帕（SeK）系数通过分别评估变化与未变化像素的性能，提供了更可靠且细致的评估指标。
• 大规模的语义变化检测数据集（SECOND）支持了稳健的训练与评估，模型在多样化的土地覆盖类型与时间对上展现出强大的泛化能力。
• 定量结果表明，ASN在SECOND基准上的F1分数与IoU指标上均优于现有的对称孪生与非孪生模型。