[论文解读] Self-supervised Remote Sensing Images Change Detection at Pixel-level

Yuxing Chen, Lorenzo Bruzzone|arXiv (Cornell University)|May 18, 2021

Remote-Sensing Image Classification参考文献 36被引用 13

一句话总结

该论文提出了一种新颖的像素级自监督对比学习方法，用于遥感变化检测，采用孪生ResUnet架构结合向量量化与不确定性建模。通过在像素级别应用对比损失并利用Rosen阈值化方法，该方法在OSCD、MUDS和加州洪灾数据集上实现了最先进水平的准确率与效率，相较于基于图像块的方法在速度和对季节性变化的鲁棒性方面表现更优。

ABSTRACT

Deep learning techniques have achieved great success in remote sensing image change detection. Most of them are supervised techniques, which usually require large amounts of training data and are limited to a particular application. Self-supervised methods as an unsupervised approach are popularly used to solve this problem and are widely used in unsupervised binary change detection tasks. However, the existing self-supervised methods in change detection are based on pre-tasks or at patch-level, which may be sub-optimal for pixel-wise change detection tasks. Therefore, in this work, a pixel-wise contrastive approach is proposed to overcome this limitation. This is achieved by using contrastive loss in pixel-level features on an unlabeled multi-view setting. In this approach, a Siamese ResUnet is trained to obtain pixel-wise representations and to align features from shifted positive pairs. Meanwhile, vector quantization is used to augment the learned features in two branches. The final binary change map is obtained by subtracting features of one branch from features of the other branch and using the Rosin thresholding method. To overcome the effects of regular seasonal changes in binary change maps, we also used an uncertainty method to enhance the temporal robustness of the proposed approach. Two homogeneous (OSCD and MUDS) datasets and one heterogeneous (California Flood) dataset are used to evaluate the performance of the proposed approach. Results demonstrate improvements in both efficiency and accuracy over the patch-wise multi-view contrastive method.

研究动机与目标

• 解决现有自监督变化检测方法局限于图像块级别而非像素级别所带来的局限性。
• 开发一种像素级对比学习框架，实现在无需标注数据情况下的无监督特征学习。
• 通过在变化检测流程中集成随机性不确定性估计，提升对季节性变化的鲁棒性。
• 与现有的自监督及监督方法相比，实现计算成本更低的高性能变化检测。

提出的方法

• 训练一个孪生ResUnet，从多时相遥感图像的两个偏移视图中提取像素级表征。
• 直接在像素级特征上应用对比损失，促使正样本对（同一空间位置在不同视图中）对齐，负样本对分离。
• 在两个分支中均使用向量量化来增强特征，提升特征多样性并改善表征学习。
• 通过从一个分支中减去另一分支的特征生成最终变化图，随后采用Rosen阈值化方法进行二值分类。
• 在训练过程中估计随机性不确定性，以识别具有高季节性变异性的区域（如农田），从而减少误报。
• 利用不确定性感知的特征图对变化检测输出进行优化，提升时间上的鲁棒性。

实验结果

研究问题

• RQ1 与基于图像块的方法相比，像素级对比学习是否能提升自监督遥感变化检测的准确率与效率？
• RQ2 在变化检测模型中引入不确定性估计，如何增强其对规律性季节性变化的鲁棒性？
• RQ3 在多传感器与多时相变化检测中，使用像素级对比损失相较于基于图像块或图像级对比学习，性能提升如何？
• RQ4 在异构与同质数据集上，该方法与最先进水平的监督与自监督基线相比，在效率与准确率方面表现如何？
• RQ5 在真实场景（如洪水）中，对比学习与不确定性建模的结合是否能生成更可靠、更少噪声的变化图？

主要发现

• 所提出的PixSSL方法在OSCD数据集上实现了0.50的Kappa系数，优于PatchSSL（0.48）和CAA（0.29），且计算成本显著降低。
• 在MUDS数据集上，PixSSL结合Rosen阈值化方法实现了0.50的F1分数与94.26%的总体准确率，优于PatchSSL与基于OTSU的方法。
• 与PatchSSL相比，该模型将推理时间与乘加操作量（MACs）降低了超过99%，仅需84.9 GFLOPs，而PatchSSL为8026.1 GFLOPs。
• 不确定性感知的优化显著减少了水体与季节性植被区域的误报，尤其在复杂城市与洪水影响区域的检测中表现更优。
• 定性结果表明，PixSSL生成的变化图比PatchSSL与CAA更清晰、更准确，尤其在检测孤立洪水区域等小尺度变化方面优势明显。
• Rosen阈值化方法优于OTSU，跨不同数据集与场景均生成了更鲁棒、更一致的二值变化图。