[论文解读] Self-Supervised Deep Learning on Point Clouds by Reconstructing Space

Jonathan Sauder, Bjarne Sievers|arXiv (Cornell University)|Jan 24, 2019

3D Shape Modeling and Analysis参考文献 42被引用 33

一句话总结

一个自监督、架构无关的原始点云预训练方法，其中网络学习将随机偏移的体素化部分重新组装，从而提升下游分类与分割性能以及样本效率。

ABSTRACT

Point clouds provide a flexible and natural representation usable in countless applications such as robotics or self-driving cars. Recently, deep neural networks operating on raw point cloud data have shown promising results on supervised learning tasks such as object classification and semantic segmentation. While massive point cloud datasets can be captured using modern scanning technology, manually labelling such large 3D point clouds for supervised learning tasks is a cumbersome process. This necessitates methods that can learn from unlabelled data to significantly reduce the number of annotated samples needed in supervised learning. We propose a self-supervised learning task for deep learning on raw point cloud data in which a neural network is trained to reconstruct point clouds whose parts have been randomly rearranged. While solving this task, representations that capture semantic properties of the point cloud are learned. Our method is agnostic of network architecture and outperforms current unsupervised learning approaches in downstream object classification tasks. We show experimentally, that pre-training with our method before supervised training improves the performance of state-of-the-art models and significantly improves sample efficiency.

研究动机与目标

• 为机器人及相关领域的3D点云任务减少标注数据需求提供动机。
• 提出一个自监督预训练任务，在没有标签的情况下学习整体点云表示。
• 证明预训练在不同架构和任务中提升下游性能和样本效率。

提出的方法

• 将缩放后的点云体素化为一个 k x k x k 网格，以将每个点的体素ID分配为标签。
• 随机交换体素块并可选地对点进行增强，以训练网络预测每个点的原始体素ID。
• 将自监督任务形式化为一个架构无关的点分割问题。
• 证明学习到的表示可迁移至 PointNet、PointNet++、DGCNN 和 PointCNN 的监督任务。
• 避免在原始点云上依赖重构损失或显式相似度度量。

实验结果

研究问题

• RQ1 基于原始点云的自监督预训练是否能学习提升下游目标分类与分割的表示？
• RQ2 逐体素的重组是否促使学习3D形状的高级语义结构？
• RQ3 该方法是否架构无关且对不同点云网络有益？
• RQ4 预训练是否减少标注数据需求并提升样本效率？

主要发现

模型	MN40	MN10
VConv-DAE	75.50%	80.50%
3D-GAN	83.30%	91.00%
Latent-GAN	85.70%	95.30%
FoldingNet	88.40%	94.40%
VIP-GAN	90.19%	92.18%
PointNet + Pre-Training (Ours)	87.31%	91.61%
DGCNN + Pre-Training (Ours)	90.64%	94.52%

• 该方法在 ModelNet40/ModelNet10 的下游对象分类任务中，通过线性SVM评估时，表现优于先前的无监督方法。
• 提出任务的预训练在下游监督训练中提升了最先进模型的性能。
• 使用该方法进行预训练的 DGCNN 在 ModelNet40 上的准确率高于随机初始化基线。
• 预训练提升了 ShapeNet Part 的分割性能（mIoU）及更好的人点嵌入表示。
• 在监督训练前对 ShapeNet 的预训练提升了 S3DIS 语义分割的表现，尤其是在标注数据有限的情况下。
• 嵌 入在语义结构和与对象部件、类别相关的可分簇方面的表征。