[论文解读] DSDANet: Deep Siamese Domain Adaptation Convolutional Neural Network for Cross-domain Change Detection

Hongruixuan Chen, Chen Wu+2 more|arXiv (Cornell University)|Jun 16, 2020

Remote-Sensing Image Classification参考文献 57被引用 19

一句话总结

该论文提出DSDANet，一种用于多光谱影像跨域变化检测的深度孪生域自适应卷积神经网络。通过利用多核最大均值差异（MK-MMD）对源域（带标注）与目标域（无标注）之间的特征分布进行对齐，DSDANet学习到可迁移的特征，显著减少了域偏移，从而仅需稀疏的目标域标注即可实现高性能的变化检测。

ABSTRACT

Change detection (CD) is one of the most vital applications in remote sensing. Recently, deep learning has achieved promising performance in the CD task. However, the deep models are task-specific and CD data set bias often exists, hence it is inevitable that deep CD models would suffer degraded performance after transferring it from original CD data set to new ones, making manually label numerous samples in the new data set unavoidable, which costs a large amount of time and human labor. How to learn a transferable CD model in the data set with enough labeled data (original domain) but can well detect changes in another data set without labeled data (target domain)? This is defined as the cross-domain change detection problem. In this paper, we propose a novel deep siamese domain adaptation convolutional neural network (DSDANet) architecture for cross-domain CD. In DSDANet, a siamese convolutional neural network first extracts spatial-spectral features from multi-temporal images. Then, through multi-kernel maximum mean discrepancy (MK-MMD), the learned feature representation is embedded into a reproducing kernel Hilbert space (RKHS), in which the distribution of two domains can be explicitly matched. By optimizing the network parameters and kernel coefficients with the source labeled data and target unlabeled data, DSDANet can learn transferrable feature representation that can bridge the discrepancy between two domains. To the best of our knowledge, it is the first time that such a domain adaptation-based deep network is proposed for CD. The theoretical analysis and experimental results demonstrate the effectiveness and potential of the proposed method.

研究动机与目标

• 解决将带有标注数据的源域模型迁移到无标注数据的目标域时，变化检测模型性能下降的挑战。
• 克服由于源域与目标域遥感影像数据集之间分布差异导致的域偏移问题。
• 开发一种深度学习框架，学习可迁移的、域不变的特征，而无需在目标域进行大量人工标注。
• 实现在实际应用中目标域数据标注成本高、耗时长的场景下，实现有效的变化检测。
• 提出一种专为跨域变化检测设计的新型域自适应解决方案，结合孪生网络架构与MK-MMD。

提出的方法

• 采用孪生卷积神经网络，从源域和目标域的多时相影像中提取共享的时空特征。
• 引入多核最大均值差异（MK-MMD），在再生核希尔伯特空间（RKHS）中度量并最小化源域与目标域特征之间的分布差异。
• 联合优化网络参数与核系数，利用带标注的源域数据与无标注的目标域数据，学习域不变表示。
• 使用联合损失函数，结合源域上的分类损失与通过MK-MMD获得的域差异损失，指导端到端训练。
• 实施特征级域对齐，确保来自不同域的深层特征在统计上趋于相似，从而增强模型泛化能力。
• 仅使用少量目标域标注样本对模型进行微调，以实现高检测精度。

实验结果

研究问题

• RQ1 带有域自适应的深度孪生网络能否有效减少跨域变化检测中的域偏移？
• RQ2 基于MK-MMD的特征对齐在多大程度上提升了源域与目标域之间学习表征的可迁移性？
• RQ3 DSDANet在目标域仅使用极少标注数据的情况下，能在多大程度上实现高精度变化检测？
• RQ4 所提出方法是否优于在大量目标域标注数据上微调的任务专用模型？
• RQ5 当源域与目标域具有显著不同的数据分布时，能否有效学习到域不变特征？

主要发现

• DSDANet显著降低了域差异，训练过程中MK-MMD值持续低于基线模型，证明域对齐效果更优。
• 与DSCNet相比，DSDANet特征的A-距离显著减小，表明其域对齐能力更强。
• t-SNE可视化结果证实，DSDANet学习到的跨域特征分布更加相似，且变化与非变化类别之间具有清晰分离。
• 在三个目标域数据集上，DSDANet仅使用稀疏目标域标注即实现了优越的变化检测性能，优于在大量标注数据上微调的模型。
• 即使目标域标注有限，DSDANet仍保持高可迁移性与鲁棒性，展现出在真实场景中的强大实用性。
• 该方法首次在孪生CNN框架中应用基于MK-MMD的域自适应用于跨域变化检测，为该领域设立了新基准。