[论文解读] GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds

Honghui Yang, Tong He+6 more|arXiv (Cornell University)|Dec 6, 2022

3D Shape Modeling and Analysis被引用 6

一句话总结

GD-MAE 在 LiDAR 点云上提出了一种用于掩码自编码器（MAE）预训练的生成解码器，用轻量级的卷积上采样与特征扩展机制替代了复杂的解码器结构。通过支持灵活的细粒度掩码策略，并将推理延迟降低至传统方法的12%以下，GD-MAE 在 Waymo、KITTI 和 ONCE 数据集上实现了最先进性能，即使仅使用20%的标注数据，其精度也与全监督基线模型相当。

ABSTRACT

Despite the tremendous progress of Masked Autoencoders (MAE) in developing vision tasks such as image and video, exploring MAE in large-scale 3D point clouds remains challenging due to the inherent irregularity. In contrast to previous 3D MAE frameworks, which either design a complex decoder to infer masked information from maintained regions or adopt sophisticated masking strategies, we instead propose a much simpler paradigm. The core idea is to apply a extbf{G}enerative extbf{D}ecoder for MAE (GD-MAE) to automatically merges the surrounding context to restore the masked geometric knowledge in a hierarchical fusion manner. In doing so, our approach is free from introducing the heuristic design of decoders and enjoys the flexibility of exploring various masking strategies. The corresponding part costs less than extbf{12\%} latency compared with conventional methods, while achieving better performance. We demonstrate the efficacy of the proposed method on several large-scale benchmarks: Waymo, KITTI, and ONCE. Consistent improvement on downstream detection tasks illustrates strong robustness and generalization capability. Not only our method reveals state-of-the-art results, but remarkably, we achieve comparable accuracy even with extbf{20\%} of the labeled data on the Waymo dataset. Code will be released at https://github.com/Nightmare-n/GD-MAE.

研究动机与目标

• 通过消除复杂解码器设计，简化不规则3D LiDAR 点云上的 MAE 预训练过程。
• 在无需回溯或掩码一致性约束的情况下，支持灵活的掩码策略，如点级和块级掩码。
• 在保持或提升下游检测性能的同时，降低解码器的计算延迟。
• 通过在极小标注数据下实现优异性能，提升数据效率，尤其在大规模基准数据集上表现突出。

提出的方法

• 提出一种稀疏金字塔Transformer（SPT）作为多尺度编码器，利用稀疏卷积和稀疏Transformer处理不规则点云结构，并扩展可见token的感受野。
• 引入一种生成解码器（GD），通过转置卷积上采样多尺度特征，并利用卷积将可见区域扩展至掩码区域，实现对掩码token的直接索引以进行重建。
• 在解码器中采用分层特征融合，从周围上下文重建几何细节，而无需为掩码区域学习可学习的token。
• 通过将掩码过程与解码器复杂度解耦，支持多种粒度的掩码策略——点级、块级和块组级。
• 在重建前将多尺度特征投影至相同分辨率，实现跨尺度的统一特征空间，从而简化训练与推理过程。
• 采用两阶段训练策略：先在大规模无标注 LiDAR 数据上进行预训练，随后在小规模标注数据集上进行检测微调。

实验结果

研究问题

• RQ1 是否可以使用更简单、端到端的生成解码器替代 MAE 风格预训练中复杂的基于可学习token的解码器？
• RQ2 所提出的框架是否能在不牺牲性能或增加延迟的前提下，支持灵活的掩码策略？
• RQ3 GD-MAE 在3D目标检测中能多大程度上提升数据效率，尤其是在标注数据有限的情况下？
• RQ4 与 MAE 框架中的基于Transformer的解码器相比，该生成解码器在性能和推理速度上表现如何？

主要发现

• GD-MAE 在 Waymo Open Dataset 上实现了最先进3D目标检测性能，车辆检测 mAPH/L2 达66.54，行人检测 mAPH/L2 达64.93，均基于标准微调设置。
• 仅使用20%的标注数据，GD-MAE 的精度即可与全监督基线模型相当，展现出强大的数据效率。
• 生成解码器将推理延迟降低至3.2ms，低于传统基于Transformer解码器27.1ms延迟的12%。
• 块级掩码策略表现最佳（车辆62.65 mAPH/L2，行人61.44），优于块组级掩码（61.60，59.25）和点级掩码（62.41，60.60）。
• 该方法在不同多尺度编码器上均提升了检测精度，尤其在基于稀疏Transformer的编码器上提升最大（+1.05 mAPH/L2）。
• 消融实验表明，单一卷积解码器优于多个Transformer解码器，验证了所提生成设计的有效性与简洁性。