[论文解读] Self-Supervised Few-Shot Learning on Point Clouds

Charu Sharma, Manohar Kaul|arXiv (Cornell University)|Sep 29, 2020

3D Shape Modeling and Analysis参考文献 26被引用 47

一句话总结

本文提出基于 cover-tree 的自监督预训练方法用于点云，提升下游的少样本分类和分割性能，优于现有的无监督和有监督方法。

ABSTRACT

The increased availability of massive point clouds coupled with their utility in a wide variety of applications such as robotics, shape synthesis, and self-driving cars has attracted increased attention from both industry and academia. Recently, deep neural networks operating on labeled point clouds have shown promising results on supervised learning tasks like classification and segmentation. However, supervised learning leads to the cumbersome task of annotating the point clouds. To combat this problem, we propose two novel self-supervised pre-training tasks that encode a hierarchical partitioning of the point clouds using a cover-tree, where point cloud subsets lie within balls of varying radii at each level of the cover-tree. Furthermore, our self-supervised learning network is restricted to pre-train on the support set (comprising of scarce training examples) used to train the downstream network in a few-shot learning (FSL) setting. Finally, the fully-trained self-supervised network's point embeddings are input to the downstream task's network. We present a comprehensive empirical evaluation of our method on both downstream classification and segmentation tasks and show that supervised methods pre-trained with our self-supervised learning method significantly improve the accuracy of state-of-the-art methods. Additionally, our method also outperforms previous unsupervised methods in downstream classification tasks.

研究动机与目标

• 在少样本学习（FSL）中使标记数据稀缺时学习鲁棒的点云表示。
• 提出基于 cover-tree 的点云分层分解，以生成代理自监督任务。
• 设计一个多任务自监督网络，学习有利于下游分类和分割的嵌入。
• 证明用这些嵌入进行预训练可以在多个数据集上的 FSL 设置中达到最先进的性能。

提出的方法

• 用 cover-tree 表示一个点云，在多个尺度创建分层的球覆盖。
• 生成代理标签：(i) 一个回归任务，预测同一层上球心之间的距离，(ii) 跨相邻层的父子球对的象限分类任务。
• 训练一个自监督网络，具有两个分支用于回归和分类任务，将损失反向传播到共享特征提取器。
• 使用学习到的点嵌入来初始化下游网络，以在少样本设置中进行分类或分割任务。
• 在密集与稀疏的真实世界数据集（ModelNet40、Sydney、ShapeNet、S3DIS）上，针对无监督和有监督基线进行评估。

实验结果

研究问题

• RQ1 基于 cover-tree 的分层自监督预训练能否提高点云的少样本学习中的样本效率？
• RQ2 多层自监督任务是否能有效捕捉全局的球间关系和局部球内的空间关系？
• RQ3 通过本方法学习的嵌入是否比现有自监督或有监督预训练更易迁移到下游的分类和分割任务？
• RQ4 cover-tree 的基础参数 epsilon 如何影响性能和嵌入的聚类？

主要发现

• 提出的自监督预训练在 ModelNet40 和 Sydney 数据集上，持续地提升下游少样本分类准确率，超过最先进的无监督和有监督方法。
• 消融研究显示将两个预文本任务结合可获得最佳增益，单独的回归由于全局学习而提供强劲增益，分类提供局部结构信息。
• 与随机初始化和 VoxelSSL 相比，预训练的嵌入在 ShapeNet 的部件分割和 S3DIS 的语义分割上带来显著改进。
• 最佳扩张常数底 epsilon（实验中为 2.2）在各数据集上实现最佳准确性和聚类分离（轮廓系数 Silhouette）。
• 该方法对数据密度和尺度的变化具有鲁棒性，受益于稀疏点云也适用于密集点云。