[论文解读] Masked Autoencoders in 3D Point Cloud Representation Learning

Jincen Jiang, Xuequan Lu+3 more|arXiv (Cornell University)|Jul 4, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出 MAE3D，一种用于自监督 3D 点云表征学习的新型掩码自编码器框架，通过将点云划分为补丁、掩码部分补丁，并利用基于补丁的 Transformer 通过多任务损失重建缺失部分。该方法在 ModelNet40 上达到 93.4% 的准确率，在 ScanObjectNN (PB_T50_RS) 上达到 86.2% 的准确率，性能达到当前最先进水平，同时仅使用仅 180 万个参数的轻量化主干网络。

ABSTRACT

Transformer-based Self-supervised Representation Learning methods learn generic features from unlabeled datasets for providing useful network initialization parameters for downstream tasks. Recently, self-supervised learning based upon masking local surface patches for 3D point cloud data has been under-explored. In this paper, we propose masked Autoencoders in 3D point cloud representation learning (abbreviated as MAE3D), a novel autoencoding paradigm for self-supervised learning. We first split the input point cloud into patches and mask a portion of them, then use our Patch Embedding Module to extract the features of unmasked patches. Secondly, we employ patch-wise MAE3D Transformers to learn both local features of point cloud patches and high-level contextual relationships between patches and complete the latent representations of masked patches. We use our Point Cloud Reconstruction Module with multi-task loss to complete the incomplete point cloud as a result. We conduct self-supervised pre-training on ShapeNet55 with the point cloud completion pre-text task and fine-tune the pre-trained model on ModelNet40 and ScanObjectNN (PB\_T50\_RS, the hardest variant). Comprehensive experiments demonstrate that the local features extracted by our MAE3D from point cloud patches are beneficial for downstream classification tasks, soundly outperforming state-of-the-art methods ($93.4\%$ and $86.2\%$ classification accuracy, respectively).

研究动机与目标

• 为解决将掩码自编码器预训练应用于缺乏图像或文本规则结构的不规则 3D 点云的挑战。
• 开发一种通用且轻量化的自监督框架，避免使用复杂的分词器或重型编码器。
• 通过基于补丁的 Transformer 联合捕捉局部补丁特征与全局上下文关系，提升点云表征学习能力。
• 仅使用主干网络即可实现强大的下游性能，无需在微调阶段使用额外的大型 Transformer 编码器。
• 证明通过掩码重建进行预训练可增强 3D 分类任务中特征的判别性与泛化能力。

提出的方法

• 将输入点云划分为空间补丁，并随机掩码其中一部分，类似于 BERT 中的掩码语言建模。
• 通过轻量化主干网络（如 PointNet 或 DGCNN）的补丁嵌入模块提取未掩码补丁的特征。
• 基于补丁的 Transformer 编码器处理可见补丁，以学习局部几何特征与跨补丁的高层上下文关系。
• 点云重建模块利用多任务损失，从潜在表征中预测并重建被掩码补丁的坐标。
• 模型在 ShapeNet55 上通过点云补全预训练任务进行预训练，随后在下游分类基准上进行微调。
• 推理时仅使用预训练主干网络进行特征提取，无需使用重型解码器或辅助 Transformer 编码器。

实验结果

研究问题

• RQ1 能否有效将掩码自编码器框架适配到缺乏图像规则网格结构的不规则 3D 点云数据上？
• RQ2 学习重建被掩码的点云补丁是否能提升下游 3D 分类任务中所学表征的质量？
• RQ3 仅使用极少数参数（180 万个）的轻量化主干网络是否能超越依赖额外 Transformer 编码器的重型模型？
• RQ4 在微调阶段不使用复杂编码器是否能带来更鲁棒且泛化能力更强的特征？
• RQ5 在预训练阶段引入专用的 MAE3D Transformer 用于潜在表征学习，对最终分类准确率有何影响？

主要发现

• MAE3D 在 ModelNet40 上实现 93.4% 的分类准确率，超越当前最先进方法。
• 在具有挑战性的 ScanObjectNN (PB_T50_RS) 基准上，MAE3D 达到 86.2% 的准确率，展现出对噪声和物体变化的强大鲁棒性。
• 与未使用 MAE3D Transformer 的版本相比，预训练阶段引入 MAE3D Transformer 可使准确率提升 1%，证实其对特征学习的贡献。
• 尽管仅使用 180 万个参数，MAE3D 的性能仍优于 Point-MAE（后者需使用 2200 万个参数的 Transformer 编码器），且在微调阶段均不使用编码器。
• 当使用 DGCNN 作为主干网络时，MAE3D 在 ModelNet40 上实现 93.4% 的准确率，优于 Point-MAE（93.1%），即使 Point-MAE 额外使用了 Transformer 编码器。
• t-SNE 可视化结果表明，即使在预训练阶段，MAE3D 学习到的特征也比从零开始训练更具可分性和判别性，且在微调后进一步提升。