[论文解读] Exploring Effective Priors and Efficient Models for Weakly-Supervised Change Detection

Zheng‐Hui Zhao, Lixiang Ru+1 more|arXiv (Cornell University)|Jul 20, 2023

Remote-Sensing Image Classification被引用 7

一句话总结

本文提出 TransWCD，一种基于 Transformer 的简单而有效的弱监督变化检测（WSCD）模型，通过空洞先验（DP）解码器和标签门控（LG）约束，有效缓解了变化遗漏与误检问题。通过利用全局与局部先验，TransWCD-DL 在 WHU-CD 数据集上相比 SOTA 方法实现了 +9.55% 的 F1 分数提升，优于多个全监督方法。

ABSTRACT

Weakly-supervised change detection (WSCD) aims to detect pixel-level changes with only image-level annotations. Owing to its label efficiency, WSCD is drawing increasing attention recently. However, current WSCD methods often encounter the challenge of change missing and fabricating, i.e., the inconsistency between image-level annotations and pixel-level predictions. Specifically, change missing refer to the situation that the WSCD model fails to predict any changed pixels, even though the image-level label indicates changed, and vice versa for change fabricating. To address this challenge, in this work, we leverage global-scale and local-scale priors in WSCD and propose two components: a Dilated Prior (DP) decoder and a Label Gated (LG) constraint. The DP decoder decodes samples with the changed image-level label, skips samples with the unchanged label, and replaces them with an all-unchanged pixel-level label. The LG constraint is derived from the correspondence between changed representations and image-level labels, penalizing the model when it mispredicts the change status. Additionally, we develop TransWCD, a simple yet powerful transformer-based model, showcasing the potential of weakly-supervised learning in change detection. By integrating the DP decoder and LG constraint into TransWCD, we form TransWCD-DL. Our proposed TransWCD and TransWCD-DL achieve significant +6.33% and +9.55% F1 score improvements over the state-of-the-art methods on the WHU-CD dataset, respectively. Some performance metrics even exceed several fully-supervised change detection (FSCD) competitors. Code will be available at https://github.com/zhenghuizhao/TransWCD.

研究动机与目标

• 解决弱监督变化检测（WSCD）中的关键挑战，即图像级标签常与像素级预测不一致。
• 利用 WSCD 中固有的全局与局部先验——具体而言，未改变的图像级标签意味着无变化像素，而改变的标签则意味着存在变化区域。
• 设计一种轻量化但强大的基于 Transformer 的模型 TransWCD，作为未来 WSCD 研究的强基线。
• 将基于先验的组件（DP 解码器与 LG 约束）整合到 TransWCD 中，以提升弱监督设置下的泛化能力与鲁棒性。
• 探究注意力机制与多尺度特征在 WSCD 中的适用性，尤其与传统弱监督语义分割（WSSS）任务进行对比。

提出的方法

• 提出空洞先验（DP）解码器，仅对图像级标签为“改变”的样本应用空洞卷积解码特征，而对“未改变”样本则用全未改变像素标签替代预测结果。
• 引入标签门控（LG）约束，一种基于单位冲激函数的特征级惩罚机制，当模型的像素级预测与图像级标签矛盾时被激活。
• 设计 TransWCD 为一种简单、端到端的基于 Transformer 的架构，无需额外的多尺度跳跃连接，仅依赖最后一阶段的特征进行注意力计算与预测。
• 将 DP 解码器与 LG 约束集成到 TransWCD 中，形成 TransWCD-DL，增强模型对弱监督信号的一致性。
• 利用最后一层的类别激活图（CAMs）作为监督信号，避免多阶段 CAMs 以降低复杂度并提升收敛速度。
• 在最后阶段应用缩放操作以实现多尺度表示，从而替代 Transformer 架构中显式的多阶段跳跃连接。

Figure 1: Difference between fully-supervised change detection (FSCD) and weakly-supervised change detection (WSCD). WSCD utilizes image-level binary labels ” Changed (Chg) ” and ” Unchanged (Unchg) ” as supervision signals instead of ground truths.

实验结果

研究问题

• RQ1 为何现有 WSCD 方法普遍存在较高的变化遗漏与误检率？先验知识在缓解图像级标签与像素级预测之间不一致方面能发挥多大作用？
• RQ2 全局与局部先验（如未改变图像级标签与全未变像素级预测的对应关系）在多大程度上能提升 WSCD 性能？
• RQ3 为何类别激活图（CAMs）在 WSCD 中表现良好，尽管其在其他弱监督密集预测任务（如 WSSS）中存在已知局限？
• RQ4 在基于 Transformer 的 WSCD 模型中，是否必须使用多阶段注意力或跳跃连接？还是仅采用最后一阶段的 CAM 方法即可实现更优性能？
• RQ5 双时相遥感数据固有的时序耦合特性，如何影响注意力机制在 WSCD 中的有效性？

主要发现

• TransWCD-DL 在 WHU-CD 数据集上相比最先进方法实现了 +9.55% 的 F1 分数提升，证明了在弱监督学习中引入先验知识的有效性。
• 仅使用所提出的 TransWCD 模型，即在 SOTA 基础上实现 +6.33% 的 F1 分数增益，表明设计良好的简单 Transformer 架构可作为 WSCD 的强基线。
• DP 解码器通过抑制未改变图像的预测，将其替换为全未变标签，显著减少了误检变化的情况。
• LG 约束通过强制图像级标签与像素级输出之间的一致性，有效惩罚错误预测，降低假阳性和假阴性。
• 最后一阶段的 CAMs 比多阶段 CAMs 提前 10,000 次迭代收敛，且 F1 分数高出 1.61%，表明在基于 Transformer 的 WSCD 中，额外的多尺度跳跃连接并非必需。
• 模型在小尺度变化目标（尤其在 LEVIR-CD 等数据集上）的优越表现，凸显了未来研究需重点关注遥感中细粒度、稀疏变化模式的建模。

Figure 2: Problem of change missing and fabricating in WSCD. False positives and false negatives are highlighted in red and blue, respectively. The 1st row illustrates the phenomenon of change fabricating in WCDNet [ 12 ] and FCD-GAN [ 14 ] : the image-level label suggests no changes, but changed pi