[论文解读] MortonNet: Self-Supervised Learning of Local Features in 3D Point Clouds

Ali Thabet, Humam Alwassel+1 more|arXiv (Cornell University)|Mar 30, 2019

3D Shape Modeling and Analysis参考文献 40被引用 19

一句话总结

MortonNet 提出一种用于 3D 点云的自监督学习方法，通过 Morton 顺序空间填充曲线将非结构化的点云转换为结构化序列，从而让点预测任务学习局部几何特征（Morton 特征）。这些特征在 S3DIS 上将语义分割准确率提升超过 3%，并在 vKITTI 和 ShapeNet 上实现有效迁移，使模型更简单、更稳定，尤其在标注数据有限的情况下表现优异。

ABSTRACT

We present a self-supervised task on point clouds, in order to learn meaningful point-wise features that encode local structure around each point. Our self-supervised network, named MortonNet, operates directly on unstructured/unordered point clouds. Using a multi-layer RNN, MortonNet predicts the next point in a point sequence created by a popular and fast Space Filling Curve, the Morton-order curve. The final RNN state (coined Morton feature) is versatile and can be used in generic 3D tasks on point clouds. In fact, we show how Morton features can be used to significantly improve performance (+3% for 2 popular semantic segmentation algorithms) in the task of semantic segmentation of point clouds on the challenging and large-scale S3DIS dataset. We also show how MortonNet trained on S3DIS transfers well to another large-scale dataset, vKITTI, leading to an improvement over state-of-the-art of 3.8%. Finally, we use Morton features to train a much simpler and more stable model for part segmentation in ShapeNet. Our results show how our self-supervised task results in features that are useful for 3D segmentation tasks, and generalize well to other datasets.

研究动机与目标

• 开发一种自监督方法，用于学习非结构化 3D 点云中的有意义局部特征。
• 通过空间填充曲线实现几何排序，解决深度学习中点云数据无序与非结构化的问题。
• 构建一种通用且可迁移的特征表示（Morton 特征），以提升下游 3D 任务（如语义分割和部件分割）的性能。
• 证明在某一数据集上进行自监督预训练，可实现对其他数据集的强零样本或少样本迁移，仅需极少微调。

提出的方法

• 该方法利用 Morton 顺序（Z 顺序）空间填充曲线，为 3D 点云引入有意义且几何一致的排序，将其转化为序列。
• 训练一个多层 RNN 来预测 Morton 有序序列中的下一个点，通过自回归任务学习局部结构依赖关系。
• RNN 的最终隐藏状态（称为 Morton 特征）编码了每个点周围的局部几何上下文，并用作点级别的表示。
• 这些 Morton 特征随后被整合进现有的 3D 深度学习流程（如 PointNet），以提升语义分割和部件分割任务的性能。
• 模型在 S3DIS 上进行预训练，并在不重新训练特征提取器的前提下，直接微调或迁移至 vKITTI 和 ShapeNet。
• 在 ShapeNet 上进行部件分割时，仅在预提取的 Morton 特征之上训练一个简单分类器，从而显著降低网络架构复杂度。

实验结果

研究问题

• RQ1 自监督学习能否有效应用于本质上无序且非结构化的 3D 点云？
• RQ2 在 Morton 有序序列上通过自回归预测学习特征，是否能获得捕捉有意义几何结构的局部特征？
• RQ3 Morton 特征是否能提升大规模数据集上下游 3D 任务（如语义分割）的性能？
• RQ4 Morton 特征在跨数据集迁移中具有多大泛化能力，特别是在从 S3DIS 迁移至 vKITTI 或 ShapeNet 时？
• RQ5 Morton 特征是否能实现更简单、更稳定的训练，尤其是在标注数据有限的情况下？

主要发现

• 将 Morton 特征融入 PointNet 后，S3DIS 上的语义分割准确率提升超过 3%，证明性能显著增强。
• 在 vKITTI 数据集上迁移时，MortonNet 特征使最先进的语义分割性能提升 3.8%。
• 在 ShapeNet 上，使用 Morton 特征的简单分类器达到了与最先进方法相当的性能，同时模型架构简单得多。
• 即使仅使用 5% 的标注数据进行训练，模型性能仅下降 4.3 分，而 PointNet 在相同条件下准确率下降高达 24.7 分。
• Morton 特征在具有细微结构差异的类别上尤为有效，例如 ShapeNet 中的火箭与帽子，性能提升最为显著。
• 在 S3DIS 和 vKITTI 上的定性结果表明，MortonNet 增强的模型即使在稀疏数据条件下，也能正确分割复杂且杂乱的类别，如书柜、桌子和道路。