[论文解读] GCD-DDPM: A Generative Change Detection Model Based on Difference-Feature Guided DDPM

Yihan Wen, Xianping Ma+2 more|arXiv (Cornell University)|Jun 6, 2023

Remote-Sensing Image Classification被引用 4

一句话总结

本文提出GCD-DDPM，一种新颖的生成式变化检测模型，通过利用基于差异特征引导训练的去噪扩散概率模型（DDPM），直接生成高精度的变化检测图。通过整合多尺度差异条件编码与基于噪声抑制的语义增强模块，GCD-DDPM提升了边缘定位精度与特征区分能力，在四个遥感数据集上实现了最先进性能，F1分数与IoU指标均有显著提升。

ABSTRACT

Deep learning (DL)-based methods have recently shown great promise in bitemporal change detection (CD). Existing discriminative methods based on Convolutional Neural Networks (CNNs) and Transformers rely on discriminative representation learning for change recognition while struggling with exploring local and long-range contextual dependencies. As a result, it is still challenging to obtain fine-grained and robust CD maps in diverse ground scenes. To cope with this challenge, this work proposes a generative change detection model called GCD-DDPM to directly generate CD maps by exploiting the Denoising Diffusion Probabilistic Model (DDPM), instead of classifying each pixel into changed or unchanged categories. Furthermore, the Difference Conditional Encoder (DCE), is designed to guide the generation of CD maps by exploiting multi-level difference features. Leveraging the variational inference (VI) procedure, GCD-DDPM can adaptively re-calibrate the CD results through an iterative inference process, while accurately distinguishing subtle and irregular changes in diverse scenes. Finally, a Noise Suppression-based Semantic Enhancer (NSSE) is specifically designed to mitigate noise in the current step's change-aware feature representations from the CD Encoder. This refinement, serving as an attention map, can guide subsequent iterations while enhancing CD accuracy. Extensive experiments on four high-resolution CD datasets confirm the superior performance of the proposed GCD-DDPM. The code for this work will be available at https://github.com/udrs/GCD.

研究动机与目标

• 为解决现有深度学习模型在变化检测中难以捕捉长距离依赖关系并保持细粒度局部细节的局限性。
• 克服预训练DDPM模型依赖单次前向传播、错失迭代优化优势的不足。
• 开发一种端到端的生成式框架，通过变分推断与引导特征学习，直接生成高质量变化检测图。
• 通过多尺度差异特征编码与噪声抑制机制，增强特征表征能力与边缘定位精度。

提出的方法

• 该模型采用基于变分推断训练的去噪扩散概率模型，通过迭代方式生成变化检测图，随时间推移逐步优化特征表征。
• 提出一种新颖的差异特征引导条件编码器，整合变化前后图像的多层次特征差异，以增强变化感知表征能力。
• 设计一种自适应校准机制，动态融合三个尺度（SCALE1–SCALE3）的差异特征，提升对小尺寸与不规则目标的检测能力。
• 基于噪声抑制的语义增强模块（NSSE）利用当前步骤的先验知识，抑制生成变化图中的高频噪声。
• 在应用逐像素差异操作前，利用注意力机制融合信息，实现对变化区域的动态定位。
• 端到端训练避免了预训练步骤，使生成过程可直接针对变化检测任务进行优化。

实验结果

研究问题

• RQ1 基于扩散的生成模型是否能在捕捉全局上下文与局部边缘细节方面，优于传统CNN与Transformer模型？
• RQ2 多尺度差异特征编码如何影响变化检测图的准确率与鲁棒性？
• RQ3 所提出的基于噪声抑制的语义增强模块在多大程度上提升了生成变化图的质量？
• RQ4 对DDPM进行端到端训练以用于变化检测，是否优于使用预训练DDPM作为特征提取器？

主要发现

• 在WHU数据集上，GCD-DDPM的F1得分为92.54%，IoU为86.52%，相较于无NSSE模块的消融模型分别提升了1.02%与1.83%。
• 消融实验表明，同时引入中等尺度（SCALE2）与小尺度（SCALE3）差异特征，显著优于仅使用SCALE3的方案。
• 完整版GCD-DDPM在WHU数据集上整体准确率达到99.39%，展现出在多样化场景下的强大泛化能力。
• 相较于DDPM-CD，GCD-DDPM将计算复杂度从838.6 GFLOPs降低至269.5 GFLOPs，尽管参数量更高，但仍提供了更高效的解决方案。
• 在四个数据集（CDD、WHU、Levier、GVLM）上的大量实验表明，GCD-DDPM在F1与IoU指标上始终优于当前最先进模型。
• 可视化结果表明，GCD-DDPM在所有层级均生成更具区分性与变化感知能力的特征图，有效保留了精细结构并减少了定位误差。