[论文解读] DiffUCD:Unsupervised Hyperspectral Image Change Detection with Semantic Correlation Diffusion Model

Xiangrong Zhang, Shunli Tian+3 more|arXiv (Cornell University)|May 21, 2023

Remote-Sensing Image Classification被引用 8

一句话总结

DiffUCD 引入一种无监督高光谱图像变化检测框架，使用语义相关扩散模型和跨时对比学习，在无监督方法中达到最先进的结果，接近有监督性能。

ABSTRACT

Hyperspectral image change detection (HSI-CD) has emerged as a crucial research area in remote sensing due to its ability to detect subtle changes on the earth's surface. Recently, diffusional denoising probabilistic models (DDPM) have demonstrated remarkable performance in the generative domain. Apart from their image generation capability, the denoising process in diffusion models can comprehensively account for the semantic correlation of spectral-spatial features in HSI, resulting in the retrieval of semantically relevant features in the original image. In this work, we extend the diffusion model's application to the HSI-CD field and propose a novel unsupervised HSI-CD with semantic correlation diffusion model (DiffUCD). Specifically, the semantic correlation diffusion model (SCDM) leverages abundant unlabeled samples and fully accounts for the semantic correlation of spectral-spatial features, which mitigates pseudo change between multi-temporal images arising from inconsistent imaging conditions. Besides, objects with the same semantic concept at the same spatial location may exhibit inconsistent spectral signatures at different times, resulting in pseudo change. To address this problem, we propose a cross-temporal contrastive learning (CTCL) mechanism that aligns the spectral feature representations of unchanged samples. By doing so, the spectral difference invariant features caused by environmental changes can be obtained. Experiments conducted on three publicly available datasets demonstrate that the proposed method outperforms the other state-of-the-art unsupervised methods in terms of Overall Accuracy (OA), Kappa Coefficient (KC), and F1 scores, achieving improvements of approximately 3.95%, 8.13%, and 4.45%, respectively. Notably, our method can achieve comparable results to those fully supervised methods requiring numerous annotated samples.

研究动机与目标

• 因为标注成本与成像条件的变异性而激励无监督 HSI-CD。
• 利用扩散模型捕捉光谱-空间特征中的语义相关性。
• 通过跨时对比学习缓解成像条件导致的伪变化。
• 将语义-空间特征与对光谱差异不变的特征融合以实现准确的变化检测。
• 在多个公开数据集上证明无标签情况下的最先进性能。

提出的方法

• 提出 DiffUCD，含两个核心模块：Semantic Correlation Diffusion Model (SCDM) 与 Cross-Temporal Contrastive Learning (CTCL)，以及一个变化检测头。
• 在前训练阶段使用大量未标注的 HSI-CD 样本对 SCDM 进行预训练，以捕捉光谱-空间的语义相关性。
• 冻结 SCDM，使用伪标签训练 CTCL，通过对比学习在时间上对齐未变化的光谱特征。
• 使用融合模块将 SCDM 导出的特征与 CTCL 导出的不变特征结合，进行像素级变化检测。
• 以包含扩散式重建、CTCL 对比损失和变化检测损失的联合损失进行优化。
• 通过扩散过程实现原始语义特征的去噪和重建，并分析时间戳 t 的影响。

实验结果

研究问题

• RQ1 是否可以通过利用语义相关性将扩散模型有效地改造成用于无监督 HSI-CD？
• RQ2 如何学习由环境变化引起的跨时光谱差异作为不变特征？
• RQ3 将 SCDM 与 CTCL 及融合变化头结合，是否在公开数据集上优于现有无监督方法？

主要发现

Method	OA	KC	F1
Santa Barbara (Ours)	96.87	93.41	95.97
Bay Area (Ours)	96.35	92.67	96.57
Hermiston (Ours)	95.47	86.69	89.58

• DiffUCD 在 Santa Barbara、Bay Area 和 Hermiston 数据集的无监督 HSI-CD 方法中取得最先进的 OA、KC 和 F1（Santa Barbara 的 OA 高达 96.87%、KC 高达 93.41%、F1 高达 95.97）。
• DiffUCD 在 Santa Barbara 上相较于此前的无监督方法，OA 提升约 5.73%、KC 提升约 11.93%、F1 提升约 7.17%。
• 在可比标注数据量下，DiffUCD 的性能与监督方法相当，且在某些指标上超过监督方法。
• 消融研究表明结合 SCDM 与 CTCL 能带来显著提升，DiffUCD 相较基线模型在三种数据集上均有显著改进。
• t-SNE 可视化表明 DiffUCD 的特征更具可分性，反映出更好的类内/类间判别。
• 定性结果显示在扩散过程中对噪声的有效去除以及对原始语义光谱-空间特征的重建。