[论文解读] IDET: Iterative Difference-Enhanced Transformers for High-Quality Change Detection

Qing Guo, Ruofei Wang+3 more|arXiv (Cornell University)|Jul 15, 2022

Remote-Sensing Image Classification被引用 14

一句话总结

该论文提出IDET，一种新颖的迭代差异增强Transformer模块，通过利用两幅输入图像中的长距离依赖关系，迭代增强变化图，从而在变化检测中优化特征差异。通过迭代细化和多尺度融合提升特征差异质量，IDET在六个大规模数据集上实现最先进性能，在F1、OA和IoU指标上超越七种SOTA方法。

ABSTRACT

Change detection (CD) aims to detect change regions within an image pair captured at different times, playing a significant role in diverse real-world applications. Nevertheless, most of the existing works focus on designing advanced network architectures to map the feature difference to the final change map while ignoring the influence of the quality of the feature difference. In this paper, we study the CD from a different perspective, i.e., how to optimize the feature difference to highlight changes and suppress unchanged regions, and propose a novel module denoted as iterative difference-enhanced transformers (IDET). IDET contains three transformers: two transformers for extracting the long-range information of the two images and one transformer for enhancing the feature difference. In contrast to the previous transformers, the third transformer takes the outputs of the first two transformers to guide the enhancement of the feature difference iteratively. To achieve more effective refinement, we further propose the multi-scale IDET-based change detection that uses multi-scale representations of the images for multiple feature difference refinements and proposes a coarse-to-fine fusion strategy to combine all refinements. Our final CD method outperforms seven state-of-the-art methods on six large-scale datasets under diverse application scenarios, which demonstrates the importance of feature difference enhancements and the effectiveness of IDET.

研究动机与目标

• 探究特征差异质量对变化检测精度的影响，识别其作为现有方法中被忽视的关键因素。
• 解决当前模型仅关注映射特征差异而未优化差异本身的局限性。
• 设计一种新型模块IDET，利用输入图像中的长距离上下文信息迭代优化特征差异。
• 通过多尺度表征和优化后的差异的粗到细融合策略提升检测性能。
• 在具有不同分辨率、变化比例和环境条件的多样化真实场景中验证IDET的有效性。

提出的方法

• IDET采用三个Transformer：两个用于从两幅输入图像中提取全局长距离特征，一个用于利用前两个的输出作为引导，迭代优化特征差异。
• 第三个Transformer执行特征差异的迭代优化，逐步突出变化区域并抑制未变化区域。
• 引入IDET的多尺度变体，利用多尺度特征实现在不同感受野下的多轮差异优化。
• 采用粗到细融合策略，整合所有优化后的差异图以生成最终的高质量变化图。
• 模型采用标准交叉熵损失端到端训练，消融实验验证了各组件的贡献。
• 该方法在六个大规模数据集上进行评估，包括VL-CMU-CD、CDnet、LEVIR-CD、CDD、AICD和PCD，覆盖多样化条件。

实验结果

研究问题

• RQ1 特征差异质量如何影响变化检测精度？它是否是现有SOTA方法中被忽视的关键因素？
• RQ2 利用长距离上下文信息对特征差异进行迭代优化，能否提升变化检测性能？
• RQ3 对优化后的差异进行多尺度表征和粗到细融合，是否能获得优于单尺度或直接映射的检测结果？
• RQ4 迭代优化步数（T）对性能和效率有何影响？
• RQ5 IDET在具有不同图像分辨率、变化比例和环境条件的多样化数据集上是否具备良好的泛化能力？

主要发现

• IDET在六个大规模数据集上超越七种SOTA方法，在所有基准测试中均取得最高的F1、OA和IoU得分。
• 在VL-CMU-CD数据集上，IDET（T=2）达到94.0%的F1，优于次佳方法（ADCdnet为93.5%），展现出最佳的精度与效率平衡。
• 消融实验证实特征差异质量至关重要：向特征差异中添加噪声会显著降低检测性能。
• 在大多数数据集上，将迭代次数（T）增加至2以上无法提升性能，T=2为最优选择，因收益递减且复杂度增加。
• IDET以适中的GFLOPs（195.8）和推理时间（93.2ms）实现最高F1值（94.0%），优于ChangeFormer（316.9 GFLOPs）和CSCDnet（214.8ms）。
• 在VL-CMU-CD、CDnet和PCD上的交叉验证表明，IDET的泛化能力优于基线方法，表明其在多样化数据集上具备强鲁棒性。