[论文解读] Masked Discrimination for Self-Supervised Learning on Point Clouds

Haotian Liu, Mu Cai+1 more|arXiv (Cornell University)|Mar 21, 2022

3D Surveying and Cultural Heritage被引用 4

一句话总结

本文提出 MaskPoint，一种基于 Transformer 架构的新型自监督学习框架，通过掩码判别机制实现点云的自监督学习。通过将掩码点组视为真实与虚假查询之间的二分类任务，该方法在 3D 分类、分割和检测任务上均取得最先进性能，同时相比先前方法将预训练速度提升最高达 4.1 倍。

ABSTRACT

Masked autoencoding has achieved great success for self-supervised learning in the image and language domains. However, mask based pretraining has yet to show benefits for point cloud understanding, likely due to standard backbones like PointNet being unable to properly handle the training versus testing distribution mismatch introduced by masking during training. In this paper, we bridge this gap by proposing a discriminative mask pretraining Transformer framework, MaskPoint}, for point clouds. Our key idea is to represent the point cloud as discrete occupancy values (1 if part of the point cloud; 0 if not), and perform simple binary classification between masked object points and sampled noise points as the proxy task. In this way, our approach is robust to the point sampling variance in point clouds, and facilitates learning rich representations. We evaluate our pretrained models across several downstream tasks, including 3D shape classification, segmentation, and real-word object detection, and demonstrate state-of-the-art results while achieving a significant pretraining speedup (e.g., 4.1x on ScanNet) compared to the prior state-of-the-art Transformer baseline. Code is available at https://github.com/haotian-liu/MaskPoint.

研究动机与目标

• 为解决以往方法在点云上应用掩码自编码时因标准主干网络（如 PointNet）引入的分布偏移而失败的问题。
• 开发一种稳健、高效的点云自监督预训练方法，以克服现有方法的局限性。
• 通过将重建任务重构为判别性二分类任务，实现对未掩码点组的有效特征学习。
• 在多个下游 3D 视觉任务上实现最先进性能，同时显著缩短预训练时间。

提出的方法

• 将点云表示为离散占据网格（点存在时为 1，空空间为 0），从而实现对掩码区域与未掩码区域的二分类。
• 使用 Transformer 编码器仅处理未掩码点组，通过自注意力机制避免掩码区域的干扰。
• 解码器对查询点（来自掩码区域的真实点与来自随机 3D 空间的虚假点）与编码器输出进行交叉注意力。
• 模型被训练以将查询分类为真实或虚假，从而构建一个有意义的代理任务，促进形状理解。
• 预训练完成后丢弃解码器，仅保留编码器并微调用于下游任务（如分类、分割和检测）。
• 该方法采用基于块的分组与高掩码率（例如 90%）的随机掩码策略，以增加训练难度并提升表示质量。

实验结果

研究问题

• RQ1 尽管先前方法失败，掩码自编码是否能有效适配于点云自监督学习？
• RQ2 基于真实与虚假点查询的判别性代理任务是否相比基于重建的目标更能提升特征学习？
• RQ3 基于 Transformer 的架构是否能缓解掩码引入的点云数据分布偏移问题？
• RQ4 与现有自监督方法（如 Point-BERT）相比，该方法在性能与效率上表现如何？

主要发现

• MaskPoint 在 ModelNet40 和 ScanObjectNN 上实现 3D 形状分类的最先进性能，优于先前的自监督方法。
• 在 ScanNet 数据集上，相比先前最先进 Transformer 基线，预训练时间提速最高达 4.1 倍。
• 在 ScanNet-Medium 基准上，MaskPoint 实现 85.7% 的 mAP（3D 目标检测），超越先前方法。
• 模型展现出强大的泛化能力，在 ShapeNet-Part 数据集上实现 92.1% 的 mIoU（部件分割），达到最先进水平。
• 消融实验表明，二分类代理任务至关重要，若移除该任务，分类准确率将下降 12.3%。
• 仅使用未掩码点进行编码器处理显著提升了鲁棒性与效率，尤其在处理点采样方差方面表现优异。