[论文解读] Change Detection between Multimodal Remote Sensing Data Using Siamese CNN

Zhenchao Zhang, George Vosselman+3 more|arXiv (Cornell University)|Jul 25, 2018

Remote Sensing and LiDAR Applications被引用 33

一句话总结

本文提出了一种孪生卷积神经网络（S-CNN）框架，用于检测三维机载激光扫描数据与二维航空影像之间的建筑物和树木变化。该方法将两种数据类型转换为二维灰度图像块，利用微调后的S-CNN根据学习到的特征相似性，将图像块对分类为变化或未变化，并在目标层面进行分组与验证。该方法在城市测试数据上的图像块级准确率达到86.4%。

ABSTRACT

Detecting topographic changes in the urban environment has always been an important task for urban planning and monitoring. In practice, remote sensing data are often available in different modalities and at different time epochs. Change detection between multimodal data can be very challenging since the data show different characteristics. Given 3D laser scanning point clouds and 2D imagery from different epochs, this paper presents a framework to detect building and tree changes. First, the 2D and 3D data are transformed to image patches, respectively. A Siamese CNN is then employed to detect candidate changes between the two epochs. Finally, the candidate patch-based changes are grouped and verified as individual object changes. Experiments on the urban data show that 86.4\\% of patch pairs can be correctly classified by the model.

研究动机与目标

• 解决利用多模态遥感数据检测城市环境中地形变化的挑战，特别是针对三维激光扫描与二维航空影像之间的差异。
• 克服模态间固有的数据差异（如噪声、遮挡、配准误差和数据缺失），这些差异会导致虚假变化检测。
• 开发一种端到端学习框架，能够区分真实结构变化（如新建建筑、树木移除）与由数据采集差异引起的人工伪影。
• 为维护图像和激光扫描数据档案的国家测绘机构提供稳健、自动化且可扩展的变化检测能力。
• 通过孪生卷积神经网络学习深层特征，建模多模态数据之间复杂且非线性的差异，从而提高检测准确率。

提出的方法

• 使用摄影测量技术将三维激光扫描点云和二维航空影像转换为二维半数字表面模型（DSMs）。
• 利用非线性高程到灰度的映射函数，将生成的DSMs转换为灰度图像块，以保留详细的高程变化。
• 采用孪生卷积神经网络架构，其中两个相同的子网络分别处理来自不同时相的图像块对，学习比较其特征表示。
• 使用孪生分支最终特征向量之间的L2距离（欧几里得距离）作为相似性得分，将图像块对分类为变化或未变化。
• 对S-CNN采用微调策略，以增强对由配准误差或密集匹配错误等数据伪影引起的虚假阳性结果的区分能力。
• 将检测到的图像块级变化分组为连贯的目标级变化，并通过原始正射影像和人工目视检查验证结果，以减少虚假阳性。

实验结果

研究问题

• RQ1 尽管存在显著的模态差异，孪生卷积神经网络是否能有效检测三维激光扫描数据与二维航空影像之间的有意义变化？
• RQ2 S-CNN模型在多大程度上能够学习区分真实结构变化（如新建建筑、树木种植或移除）与由数据特定伪影引起的变化？
• RQ3 所提出的框架在多大程度上能有效减少因多模态遥感数据中的配准误差、噪声或遮挡导致的虚假阳性？
• RQ4 基于图像块的检测结果能否可靠地分组并验证为准确的目标级变化报告？
• RQ5 采用微调的孪生架构是否优于依赖手工设计特征或直接DSM差分的传统变化检测方法？

主要发现

• 孪生卷积神经网络在图像块级变化检测上的测试准确率达到86.4%，精确率为79.9%，召回率为80.6%。
• 该模型成功识别出真实变化，如新建建筑、拆除建筑以及树木的种植或移除。
• 虚假阳性主要由车辆移动和密集匹配错误引起，尤其在低纹理或阴影区域更为明显。
• 遗漏错误主要出现在小规模树木变化的检测中，原因包括模型敏感度限制或图像块对之间的对比度较低。
• 最终的目标级验证步骤显著减少了虚假检测，特别是针对因枝条稀疏结构导致在密集匹配结果中消失的树木。
• 该方法通过避免手工特征工程和端到端特征融合，优于传统方法，同时在推理效率方面保持较高水平。