[论文解读] 3D Point Cloud Registration with Multi-Scale Architecture and Unsupervised Transfer Learning

Sofiane Horache, Jean‐Emmanuel Deschaud+1 more|arXiv (Cornell University)|Mar 26, 2021

3D Shape Modeling and Analysis参考文献 55被引用 29

一句话总结

本文提出 MS-SVConv，这是一个用于快速、可泛化的三维点云配准的多尺度 U-Net，以及 UDGE，一种无监督的迁移学习方法，用于适应新数据集。

ABSTRACT

We propose a method for generalizing deep learning for 3D point cloud registration on new, totally different datasets. It is based on two components, MS-SVConv and UDGE. Using Multi-Scale Sparse Voxel Convolution, MS-SVConv is a fast deep neural network that outputs the descriptors from point clouds for 3D registration between two scenes. UDGE is an algorithm for transferring deep networks on unknown datasets in a unsupervised way. The interest of the proposed method appears while using the two components, MS-SVConv and UDGE, together as a whole, which leads to state-of-the-art results on real world registration datasets such as 3DMatch, ETH and TUM. The code is publicly available at https://github.com/humanpose1/MS-SVConv .

研究动机与目标

• 解决将基于深度学习的三维点云配准推广到新的、多样的数据集时的挑战，而无需地面真实姿态。
• 提出一种使用多尺度稀疏体素卷积（MS-SVConv）的快速、可泛化的描述子计算架构。
• 引入 UDGE，一种基于数据生成的无监督迁移学习策略，用于将预训练模型适配到未见数据集。
• 在真实世界数据集（3DMatch、ETH、TUM）下，在有监督和无监督迁移设置中展示最先进或强竞争力的结果。

提出的方法

• 提出 MS-SVConv：一个共享的基于多尺度 U-Net 的描述子提取器，在点云的多个体素尺度上工作，具备逐尺度下采样和最终的 MLP 融合以生成点描述符。
• 使用稀疏卷积以保持效率并能够处理大型点云。
• 使用硬负对比损失进行训练，以学习具区辨性的描述符（正匹配和负匹配）。
• 引入 UDGE：基于数据生成的无监督迁移学习，通过从单个点云生成两个局部视图（通过裁剪和周期采样）来实现对目标数据集的迁移，而无需地面真实姿态。
• 在迁移过程中，在源数据集上进行预训练（如 ModelNet 或 3DMatch），并在目标数据集上应用 UDGE 以在无监督的情况下自适应描述符。

Figure 1 : Summary of the proposed method. We can use MS-SVConv for supervised training on a huge dataset, and then we can transfer it in an unsupervised fashion on a smaller dataset.

实验结果

研究问题

• RQ1 多尺度 U-Net 描述子架构是否能在跨越多样化真实世界数据集的配准中提高泛化能力？
• RQ2 通过数据生成的无监督迁移学习（UDGE）是否能够在没有地面真实姿态的情况下，有效地将预训练描述符适配到未见数据集？
• RQ3 在具有挑战性的数据集（ETH、TUM、3DMatch）上，仅使用多尺度 MS-SVConv 与结合 UDGE 的性能提升有多大？

主要发现

• 具有三个头（三个尺度）的 MS-SVConv 在 3DMatch 的 FMR 上优于已发表的方法，在一个测试设定下实现 98.4% 对比 97.5%。
• 多尺度的 MS-SVConv 明显提升了对单尺度变体的泛化能力，尤其是在应用对称测试时。
• 基于 UDO 的迁移（UAGE）在 ETH 上实现最先进的 FMR（例如，在 UDGE 之后的 MS-SVConv(3) 达到 98.9%），并具备有竞争力的 SRE，同时比基于补丁的方法快得多。
• 在合成数据源（ModelNet）上对 MS-SVConv 进行预训练并结合 UDGE，在不需要目标数据集地面真实姿态的情况下，在 ETH、TUM 和 3DMatch 上取得了很好的结果。
• 多尺度架构与 UDGE 之间存在协同作用，当使用更多头时（MS-SVConv(3) 相对于 MS-SVConv(1)），FMR 具有附加提升。
• 基于 UDA 的迁移在目标数据集较小时仍然有效，前提是在合成或其他真实世界来源上进行有监督的预训练。

Figure 2 : Architecture of the proposed Multi-Scale Sparse Voxel Convolution (MS-SVConv) for registration. The point cloud is downsampled at each scale with a grid subsampling that increases the side length of the voxel by 2 each time.