[论文解读] Masked Autoencoders for Point Cloud Self-supervised Learning

Yatian Pang, Wenxiao Wang+4 more|arXiv (Cornell University)|Mar 13, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出 Point-MAE，一种使用标准 Transformer 主干网络的点云掩码自编码器自监督学习框架。通过将点云划分为不规则的补丁，以高达 90% 的高比例进行掩码，并将掩码标记移至轻量级解码器以防止早期位置信息泄露，该方法在 ScanObjectNN 上实现了 85.18% 的准确率，在 ModelNet40 上实现了 94.04% 的准确率，性能超越了以往所有自监督方法，甚至超过部分有监督方法，达到当前最先进水平。

ABSTRACT

As a promising scheme of self-supervised learning, masked autoencoding has significantly advanced natural language processing and computer vision. Inspired by this, we propose a neat scheme of masked autoencoders for point cloud self-supervised learning, addressing the challenges posed by point cloud's properties, including leakage of location information and uneven information density. Concretely, we divide the input point cloud into irregular point patches and randomly mask them at a high ratio. Then, a standard Transformer based autoencoder, with an asymmetric design and a shifting mask tokens operation, learns high-level latent features from unmasked point patches, aiming to reconstruct the masked point patches. Extensive experiments show that our approach is efficient during pre-training and generalizes well on various downstream tasks. Specifically, our pre-trained models achieve 85.18% accuracy on ScanObjectNN and 94.04% accuracy on ModelNet40, outperforming all the other self-supervised learning methods. We show with our scheme, a simple architecture entirely based on standard Transformers can surpass dedicated Transformer models from supervised learning. Our approach also advances state-of-the-art accuracies by 1.5%-2.3% in the few-shot object classification. Furthermore, our work inspires the feasibility of applying unified architectures from languages and images to the point cloud.

研究动机与目标

• 开发一种简单、高效且统一的自监督学习框架，用于点云，基于掩码自编码器。
• 解决点云表征学习中的挑战，包括位置信息泄露和数据密度不均问题。
• 通过自监督预训练，使标准 Transformer 模型在点云任务上超越专用的有监督模型。
• 探索将自然语言处理与计算机视觉中的统一架构应用于 3D 点云数据的可行性。

提出的方法

• 将输入点云划分为不规则、非重叠的点补丁，以应对密度不均问题并保留局部结构。
• 采用高掩码比例（最高达 90%），以随机或块状模式掩码整个补丁，而非单个点。
• 将掩码标记从编码器输入移至解码器输入，延迟位置信息泄露，迫使编码器仅从未掩码补丁中学习。
• 自编码器使用标准 Transformer 编码器从未掩码补丁中提取高层特征，使用轻量级解码器重建被掩码的补丁。
• 模型通过在掩码补丁上使用重建损失进行预训练，并在下游任务上进行微调，无需额外架构修改。
• 采用对称设计，编码器与解码器共享权重，以保持训练效率和泛化能力。

实验结果

研究问题

• RQ1 基于标准 Transformer 的掩码自编码器能否在自监督点云学习中实现最先进性能？
• RQ2 将掩码标记从编码器移至解码器如何影响表征学习与泛化能力？
• RQ3 何种掩码策略（随机 vs. 块状）与掩码比例能在点云基准上实现最佳性能？
• RQ4 基于标准 Transformer 的简单统一架构能否超越专门设计的复杂有监督模型？

主要发现

• Point-MAE 在 ModelNet40 上达到 94.04% 的准确率，超越所有先前的自监督方法，创下新的最先进记录。
• 在 ScanObjectNN 上，Point-MAE 达到 85.18% 的准确率，显著优于现有自监督方法。
• 在 60% 随机掩码比例下，Point-MAE 在 ModelNet40 上微调准确率达到 93.19%，优于位置信息泄露的消融变体。
• 消融实验确认，将掩码标记移至解码器可减少位置信息泄露，并使下游性能相比基线提升 1.05%。
• 与先前方法相比，Point-MAE 在少样本物体分类任务中准确率提升 1.5%–2.3%，展现出强大的泛化能力。
• 该方法表明，简单且基于标准 Transformer 的架构可超越专门设计的有监督模型，凸显了自监督预训练的强大潜力。