[论文解读] Advanced Feature Manipulation for Enhanced Change Detection Leveraging Natural Language Models

Zhenglin Li, Yangchen Huang+4 more|arXiv (Cornell University)|Mar 23, 2024

Customer churn and segmentation被引用 22

一句话总结

本文提出特征操作技术——Feature Attention 和 Flow Dual-Alignment Fusion (FDAF)——以提升基于 DDPM 的变化检测，在 LEVIR-CD 上实现了最先进的指标，在 WHU-CD 上也取得了强劲结果。并分析了这些模块的影响并讨论了 FDAF 的局限性。

ABSTRACT

Change detection is a fundamental task in computer vision that processes a bi-temporal image pair to differentiate between semantically altered and unaltered regions. Large language models (LLMs) have been utilized in various domains for their exceptional feature extraction capabilities and have shown promise in numerous downstream applications. In this study, we harness the power of a pre-trained LLM, extracting feature maps from extensive datasets, and employ an auxiliary network to detect changes. Unlike existing LLM-based change detection methods that solely focus on deriving high-quality feature maps, our approach emphasizes the manipulation of these feature maps to enhance semantic relevance.

研究动机与目标

• 激励在双时相遥感图像中改进变化检测，超越简单扩散特征提取。
• 提出通过注意力机制利用时序信息的语义特征操作。
• 引入并评估基于注意力的块（Siam-SR 和 Cot-SR）以及 Flow Dual-Alignment Fusion (FDAF) 策略。
• 评估在 LEVIR-CD 和 WHU-CD 数据集上的性能，并分析对环境噪声的鲁棒性。

提出的方法

• 使用预训练扩散模型从双时相图像提取特征图。
• 引入 Siam-SR（Siamese Semantic Reasoning，孪生语义推理）以编码每个时间点的语义信息。
• 引入 Cot-SR（Cross-temporal Semantic Reasoning，跨时序语义推理）以建模时序之间的相关性。
• 提出 FDAF（Flow Dual-Alignment Fusion，流双对齐融合）以与 FlowNet 和图像扭曲对齐并融合双扩散特征。
• 训练过程中保持扩散模型参数固定，以在训练中隔离特征操作的效应。
• 使用 BCE 损失和 AdamW 优化器训练；学习率从 1e-5 开始并线性衰减；对 LEVIR-CD 训练 120 个 epoch，对 WHU-CD 训练 80 个 epoch。

(a) Attention Based Model.

实验结果

研究问题

• RQ1 在每个时间分支内的语义归因是否能够超越标准扩散特征来提升变化检测？
• RQ2 相比逐帧语义编码，跨时序语义推理块（Cot-SR）是否能提高随时间的变化检测？
• RQ3 FDAF 是否提升双时相图像对环境噪声的鲁棒性，在何种条件下有帮助或有害？
• RQ4 提出的特征操作模块在 LEVIR-CD 和 WHU-CD 数据集上的经验性能如何？

主要发现

• 特征注意力在 LEVIR-CD 上实现了最先进的 F1 和 IoU（F1 90.18，IoU 83.86）。
• 在 LEVIR-CD 上，Baseline、Baseline+Attention、Baseline+FDAF、Baseline+Attention+FDAF 的结果分别是：90.91/83.35、91.52/84.36、82.61/70.37、91.37/84.11。
• 在 WHU-CD 上，Baseline、Baseline+Attention、Baseline+FDAF、Baseline+Attention+FDAF 的结果分别是：92.65/86.31、92.40/85.87、76.33/61.71、90.27/82.27。
• 特征注意力在 LEVIR-CD 上的性能提升具有一致性，展示了时序特征图相关学习的价值。
• FDAF 表现出数据集特定的性能动态：在某些设置有益，但如果去噪滤波移除了关键特征差异，可能降低结果。

(b) FDAF Based Model