[论文解读] Hard Region Aware Network for Remote Sensing Change Detection

Zhenglai Li, Chang Tang+5 more|arXiv (Cornell University)|May 31, 2023

Remote-Sensing Image Classification被引用 5

一句话总结

该论文提出AR-CDNet，一种新颖的遥感变化检测网络，通过集成在线不确定性估计与知识回顾模块，生成具有像素级不确定性评分的高精度变化图。通过利用伪不确定性监督与双重注意力机制（反向注意力与冲突注意力），AR-CDNet增强了特征表示并提高了检测可靠性，在LEVIR+和BCDD数据集上实现了最先进性能。

ABSTRACT

Change detection (CD) is essential for various real-world applications, such as urban management and disaster assessment. Numerous CD methods have been proposed, and considerable results have been achieved recently. However, detecting changes in hard regions, i.e., the change boundary and irrelevant pseudo changes caused by background clutters, remains difficult for these methods, since they pose equal attention for all regions in bi-temporal images. This paper proposes a novel change detection network, termed as HRANet, which provides accurate change maps via hard region mining. Specifically, an online hard region estimation branch is constructed to model the pixel-wise hard samples, supervised by the error between predicted change maps and corresponding ground truth during the training process. A cross-layer knowledge review module is introduced to distill temporal change information from low-level to high-level features, thereby enhancing the feature representation capabilities. Finally, the hard region aware features extracted from the online hard region estimation branch and multi-level temporal difference features are aggregated into a unified feature representation to improve the accuracy of CD. Experimental results on two benchmark datasets demonstrate the superior performance of HRANet in the CD task.

研究动机与目标

• 为解决现有基于深度学习的变化检测方法中缺乏可靠性评估的问题。
• 开发一种方法，在推理阶段无需真实标签的情况下，同时提供高精度变化图与像素级不确定性估计。
• 通过在U-Net架构中从低层到高层特征蒸馏知识，提升时序差异特征的表示能力。
• 通过识别难样本区域（如误报与真正例）实现不确定性感知预测，从而增强模型可信度。

提出的方法

• 引入在线不确定性估计分支，在推理阶段预测像素级不确定性，训练期间由预测变化图与真实标签变化图之间的差异进行监督。
• 知识回顾模块（KRM）利用反向注意力机制重新聚焦高层特征中欠分割区域，并通过冲突注意力机制突出高层与低层预测之间的差异。
• KRM实现了从低层到高层时序差异特征的知识蒸馏，保留了细粒度的变化模式。
• 通过特征聚合模块将多层级时序差异特征与不确定性感知特征融合，以提升检测精度。
• 采用伪不确定性监督策略训练不确定性分支，无需额外标注，从而提升泛化能力。
• 采用联合损失函数端到端训练网络，同时优化变化检测与不确定性估计任务。

实验结果

研究问题

• RQ1 在线不确定性估计是否能通过提供像素级置信度评分，提升遥感变化检测模型的可靠性？
• RQ2 从低层到高层特征的知识蒸馏如何增强时序差异特征的可区分性？
• RQ3 反向与冲突注意力机制在跨网络深度优化特征表示方面有何贡献？
• RQ4 在基准数据集上，该方法在准确率与不确定性估计方面相较于最先进方法表现如何？
• RQ5 不确定性图是否能有效识别真实世界变化检测场景中的难样本（如误报与真正例）？

主要发现

• AR-CDNet在LEVIR+数据集上达到0.8582的kappa分数，在BCDD数据集上达到0.7683，优于所有对比的最先进方法。
• 消融实验表明，移除知识回顾模块（w/o KRM）后，LEVIR+上的kappa分数降至0.8209，表明其在性能中起关键作用。
• 仅使用反向注意力的变体（KRM w/o CoA）在LEVIR+上达到0.8467的kappa分数，证实两种注意力机制对最优性能均不可或缺。
• 伪不确定性监督策略（OUE w/o UaL）相比变化边界监督表现更优，在LEVIR+上达到0.8556的kappa分数。
• 不确定性图能有效突出困难区域：真正例与误报区域被赋予较低置信度，而变化对象的边界则表现出更高不确定性。
• 失败案例揭示了模型在处理背景杂波与低对比度变化方面的局限性，但在大多数挑战性场景中仍优于现有方法。