[论文解读] Masked Surfel Prediction for Self-Supervised Point Cloud Learning

Yabin Zhang, Jiehong Lin+4 more|arXiv (Cornell University)|Jul 7, 2022

3D Shape Modeling and Analysis被引用 9

一句话总结

本文提出了一种名为Masked Surfel Prediction（MaskSurf）的新自监督学习方法，用于点云处理，通过基于Transformer的编码器-解码器网络联合预测被掩码的表面元（surfel）位置与法线。通过引入基于表面元的局部几何信息——以Chamfer Distance和一种新型的Position-Indexed Normal Distance作为监督信号——MaskSurf在所有微调策略下均在ScanObjectNN（OBJ-BG设置）上比Point-MAE高出1.2%，达到当前最优性能。

ABSTRACT

Masked auto-encoding is a popular and effective self-supervised learning approach to point cloud learning. However, most of the existing methods reconstruct only the masked points and overlook the local geometry information, which is also important to understand the point cloud data. In this work, we make the first attempt, to the best of our knowledge, to consider the local geometry information explicitly into the masked auto-encoding, and propose a novel Masked Surfel Prediction (MaskSurf) method. Specifically, given the input point cloud masked at a high ratio, we learn a transformer-based encoder-decoder network to estimate the underlying masked surfels by simultaneously predicting the surfel positions (i.e., points) and per-surfel orientations (i.e., normals). The predictions of points and normals are supervised by the Chamfer Distance and a newly introduced Position-Indexed Normal Distance in a set-to-set manner. Our MaskSurf is validated on six downstream tasks under three fine-tuning strategies. In particular, MaskSurf outperforms its closest competitor, Point-MAE, by 1.2\% on the real-world dataset of ScanObjectNN under the OBJ-BG setting, justifying the advantages of masked surfel prediction over masked point cloud reconstruction. Codes will be available at https://github.com/YBZh/MaskSurf.

研究动机与目标

• 解决现有掩码自编码方法在点云学习中的局限性，即仅关注被掩码点的重建，而忽略局部几何结构。
• 探究通过表面元（具有位置和法线信息的表面元素）显式建模局部几何结构是否能提升自监督表示学习效果。
• 设计一种新型预训练任务，联合从掩码点云中预测表面元位置与法线，以更好地捕捉几何细节。
• 在多种下游任务和微调策略下，证明基于表面元的重建优于仅基于点的重建。

提出的方法

• 将点云表示为掩码输入，通过分组策略对局部区域应用高比例掩码。
• 设计基于Transformer的编码器-解码器网络，从掩码点云块中预测潜在的表面元云。
• 以集合到集合的方式，同时预测表面元位置（点）和每个表面元的朝向（法线）。
• 使用预测与真实表面元位置之间的Chamfer Distance（CD）监督点预测。
• 提出一种新型的Position-Indexed Normal Distance（PIND），通过基于空间对应关系将预测法线与真实法线对齐，以监督法线预测。
• 端到端训练模型，以掩码表面元预测作为预训练任务，学习无需人工标注的几何感知特征。

实验结果

研究问题

• RQ1 与标准的掩码点重建相比，通过表面元显式建模局部几何结构是否能提升自监督点云表示学习？
• RQ2 同时预测表面元位置与法线是否比仅预测点能带来更优的特征学习效果？
• RQ3 MaskSurf在多种下游任务（包括分类、分割、少样本学习和域泛化）中的表现如何？
• RQ4 基于表面元的几何建模在背景杂波和边界框扰动等挑战性设置下，对模型泛化能力和鲁棒性的贡献是什么？

主要发现

• 在真实世界ScanObjectNN数据集的OBJ-BG设置下，MaskSurf达到91.22%的准确率，比Point-MAE高出1.2%。
• 在ModelNet40少样本分类基准上，MaskSurf在10-shot、5-way设置下达到96.5%的准确率，超过Point-MAE的96.3%。
• 在ShapeNetPart数据集的部件分割任务中，MaskSurf在特征迁移设置下达到84.36%的平均IoU（mIoUc），优于Point-MAE的84.19%。
• 在S3DIS Area5数据集的语义分割任务中，MaskSurf的可视化结果优于Point-MAE，如定性对比所示。
• 所提出的Position-Indexed Normal Distance（PIND）有效提升了法线预测质量，从而促进了更优的几何特征学习。
• MaskSurf在全部六个下游任务和所有三种微调策略（特征迁移、线性分类和非线性分类）中均持续优于Point-MAE。