[论文解读] Change detection needs change information: improving deep 3D point cloud change detection

Iris de Gélis, Thomas Corpetti+1 more|arXiv (Cornell University)|Apr 25, 2023

Remote Sensing and LiDAR Applications参考文献 41被引用 4

一句话总结

本文通过在神经网络结构中早期整合变化信息，提出了一种增强深度3D点云变化检测的方法，结合手工设计特征与新型孪生网络模型。最佳架构——Encoder Fusion SiamKPConv，在变化类别上的平均交并比（mIoU）相比最先进方法提升了超过5%，证明了早期融合与变化相关特征能显著提高分割精度。

ABSTRACT

Change detection is an important task that rapidly identifies modified areas, particularly when multi-temporal data are concerned. In landscapes with a complex geometry (e.g., urban environment), vertical information is a very useful source of knowledge that highlights changes and classifies them into different categories. In this study, we focus on change segmentation using raw three-dimensional (3D) point clouds (PCs) directly to avoid any information loss due to the rasterization processes. While deep learning has recently proven its effectiveness for this particular task by encoding the information through Siamese networks, we investigate herein the idea of also using change information in the early steps of deep networks. To do this, we first propose to provide a Siamese KPConv state-of-the-art (SoTA) network with hand-crafted features, especially a change-related one, which improves the mean of the Intersection over Union (IoU) over the classes of change by 4.70%. Considering that a major improvement is obtained due to the change-related feature, we then propose three new architectures to address 3D PC change segmentation: OneConvFusion, Triplet KPConv, and Encoder Fusion SiamKPConv. All these networks consider the change information in the early steps and outperform the SoTA methods. In particular, Encoder Fusion SiamKPConv overtakes the SoTA approaches by more than 5% of the mean of the IoU over the classes of change, emphasizing the value of having the network focus on change information for the change detection task. The code is available at https://github.com/IdeGelis/torch-points3d-SiamKPConvVariants.

研究动机与目标

• 通过在网络中更早地整合与变化相关的信息，而非仅在解码器阶段，来提升3D点云变化检测性能。
• 解决现有方法依赖栅格化数据或后期融合变化特征所导致的信息损失问题。
• 设计端到端的深度学习架构，直接处理原始3D点云，并在多尺度上编码变化特征。
• 评估通过手工设计特征或学习型架构显式建模变化信息是否能提升分割性能。
• 在不进行栅格化处理的前提下，利用原始点云建立3D点云变化分割的新SOTA（最先进）水平。

提出的方法

• 提出将手工设计的变化相关特征（如稳定性度量）作为输入添加到孪生KPConv网络中，以引导早期特征学习。
• 提出三种新架构：OneConvFusion、Triplet KPConv和Encoder Fusion SiamKPConv，均旨在网络早期融合单时相与变化相关特征。
• 在最近邻特征差异上应用多尺度卷积操作，直接在编码器中生成与变化相关的表征。
• 采用孪生KPConv作为主干网络，通过改进的融合机制在多个层级上结合来自两个时相输入的特征。
• 应用跳跃连接与多尺度融合，以保留空间细节并提升特征判别能力。
• 在原始3D点云上端到端训练模型，使用Urb3DCD和AHN-CD数据集，以变化类别上的mIoU为优化目标。

实验结果

研究问题

• RQ1 能否通过早期整合与变化相关特征来提升3D点云变化检测性能？
• RQ2 架构设计如何影响网络在原始3D点云中检测与分割变化的能力？
• RQ3 通过在特征差异上进行卷积学习变化特征，是否优于手工设计特征？
• RQ4 与后期融合相比，早期融合变化特征与单时相特征在多大程度上提升了分割精度？
• RQ5 一种内建编码变化信息的定制架构，是否能超越在标准孪生网络中添加手工设计特征的性能？

主要发现

• 在孪生KPConv网络中添加单一手工设计的变化相关特征（如稳定性）可使变化类别上的mIoU提升3.70%。
• Encoder Fusion SiamKPConv架构相比最先进方法实现了超过5%的mIoU提升，在Urb3DCD和AHN-CD数据集上均表现更优。
• OneConvFusion网络表现欠佳，归因于缺乏多尺度单时相特征，证实了保留原始数据表征的重要性。
• Triplet KPConv与Encoder Fusion SiamKPConv架构的性能与使用10个手工设计特征的孪生KPConv相当或更优，表明架构设计可替代人工特征工程。
• Encoder Fusion SiamKPConv模型使手工设计的稳定性特征变得冗余，因其能内部学习到有效的变化表征。
• 结果证实，早期编码变化信息能显著增强3D点云变化检测中的特征学习与分割精度。