[论文解读] Point2Vec for Self-Supervised Representation Learning on Point Clouds

Karim Abou Zeid, Jonas Schult+2 more|arXiv (Cornell University)|Mar 29, 2023

3D Shape Modeling and Analysis被引用 8

一句话总结

Point2Vec 将 data2vec 扩展到 3D 点云，通过从学生端移除被掩蔽的嵌入以防止位置信息泄漏，并在形状分类和小样本任务上显示强健的自监督表示。

ABSTRACT

Recently, the self-supervised learning framework data2vec has shown inspiring performance for various modalities using a masked student-teacher approach. However, it remains open whether such a framework generalizes to the unique challenges of 3D point clouds. To answer this question, we extend data2vec to the point cloud domain and report encouraging results on several downstream tasks. In an in-depth analysis, we discover that the leakage of positional information reveals the overall object shape to the student even under heavy masking and thus hampers data2vec to learn strong representations for point clouds. We address this 3D-specific shortcoming by proposing point2vec, which unleashes the full potential of data2vec-like pre-training on point clouds. Our experiments show that point2vec outperforms other self-supervised methods on shape classification and few-shot learning on ModelNet40 and ScanObjectNN, while achieving competitive results on part segmentation on ShapeNetParts. These results suggest that the learned representations are strong and transferable, highlighting point2vec as a promising direction for self-supervised learning of point cloud representations.

研究动机与目标

• 为 3D 点云的自监督表示学习提供动机，且不需要大量注释。
• 研究直接将 data2vec 应用于点云时因位置信息泄漏的局限性。
• 开发点云专用的自适应方法（point2vec），以防止泄漏并提高预训练效果。
• 在标准基准数据集（ModelNet40、ScanObjectNN、ShapeNetPart）上评估 point2vec，以评估迁移性和小样本性能。

提出的方法

• 采用类似 data2vec 的师生框架，使用 Transformer 编码器处理点片段。
• 通过 FPS 采样和 k-NN 归组将点云表示为片段，并用一个小型 PointNet 对每个片段进行嵌入。
• 从学生输入中排除掩蔽嵌入，并引入一个浅解码器，从学生输出回归教师目标。
• 维持一个动量教师（EMA）以生成潜在目标，对最近的 K 个 Transformer 块进行平均。
• 在每个 Transformer 阶段引入点位置信息嵌入，以在对齐片段规范化的同时保持 3D 位置上下文。

实验结果

研究问题

• RQ1 是否可以在不泄漏位置信息的情况下，将 data2vec 风格的预训练有效地迁移到 3D 点云？
• RQ2 掩蔽策略和解码器设计是否影响学习到的点云表示的质量？
• RQ3 point2vec 表示与 ModelNet40、ScanObjectNN、ShapeNetPart 上的其他自监督方法相比如何？
• RQ4 学习到的表示能否迁移到下游任务，如小样本学习和分割？

主要发现

• Point2Vec 在 ModelNet40 和 ScanObjectNN 的形状分类和小样本学习方面优于其他自监督方法。
• Point2Vec 在 ModelNet40 上实现了最先进的小样本结果，在 ShapeNetParts 上实现了竞争力的分割性能。
• 一个关键洞察是对学生端进行位置信息屏蔽（没有 M tokens）可通过防止对象形状信息泄漏来改善学习。
• Point2Vec 在真实世界数据 ScanObjectNN 上提供比 data2vec–pc 更强的迁移性能。
• 在 ShapeNet 上的预训练对下游任务的强性能至关重要。
• 一个延迟的浅解码器加上屏蔽位置信息能提供稳健的表示和效率提升。