[论文解读] 3D Point Cloud Pre-training with Knowledge Distillation from 2D Images

Yuan Yao, Yuanhan Zhang+4 more|arXiv (Cornell University)|Dec 17, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了一种知识蒸馏框架，通过跨注意力机制对齐概念特征，将预训练2D视觉模型（特别是CLIP）中的语义知识迁移至3D点云变换器。该方法在下游3D任务（如目标检测和语义分割）中实现了最先进性能，尽管3D预训练数据有限，但通过利用大规模2D数据，超越了现有预训练方法。

ABSTRACT

The recent success of pre-trained 2D vision models is mostly attributable to learning from large-scale datasets. However, compared with 2D image datasets, the current pre-training data of 3D point cloud is limited. To overcome this limitation, we propose a knowledge distillation method for 3D point cloud pre-trained models to acquire knowledge directly from the 2D representation learning model, particularly the image encoder of CLIP, through concept alignment. Specifically, we introduce a cross-attention mechanism to extract concept features from 3D point cloud and compare them with the semantic information from 2D images. In this scheme, the point cloud pre-trained models learn directly from rich information contained in 2D teacher models. Extensive experiments demonstrate that the proposed knowledge distillation scheme achieves higher accuracy than the state-of-the-art 3D pre-training methods for synthetic and real-world datasets on downstream tasks, including object classification, object detection, semantic segmentation, and part segmentation.

研究动机与目标

• 解决3D点云预训练数据集规模有限于大规模2D图像数据集的问题。
• 在知识蒸馏过程中弥合2D图像与3D点云之间的域差距。
• 使3D点云主干网络能够受益于大规模2D模型（如CLIP）的丰富语义表征。
• 开发一种概念对齐机制，将2D图像的语义特征与3D点云的结构化概念特征相连接。
• 在多个下游任务中，于真实世界和合成3D基准上验证基于蒸馏的预训练方法的有效性。

提出的方法

• 引入跨注意力机制，从3D点云中提取概念标记，类似于视觉变换器中的标记化过程。
• 使用CLIP图像编码器从2D图像中提取语义前缀嵌入作为教师信号。
• 通过在共享嵌入空间中进行对比学习，对齐2D图像的语义特征与3D点云的概念特征。
• 基于2D语义与3D概念之间的对比对齐，使用知识蒸馏损失训练3D主干网络。
• 设计双分支架构：一个用于2D语义编码（使用CLIP字幕），另一个用于3D概念提取（通过跨注意力）。
• 在无重建损失的情况下进行评估，证明仅使用蒸馏损失即可实现强大的3D表征学习。

实验结果

研究问题

• RQ1 3D点云模型是否能通过从大规模2D视觉模型蒸馏知识，实现更优的预训练性能？
• RQ2 在知识蒸馏过程中，如何有效弥合2D图像与3D点云之间的域差距？
• RQ3 与直接特征匹配相比，2D语义与3D特征之间的概念级对齐是否能带来更好的下游性能？
• RQ4 在从2D模型进行知识蒸馏时，是否仍需要基于重建的预训练？
• RQ5 在真实世界数据集上，从2D模型蒸馏的知识是否能超越现有的自监督3D预训练方法？

主要发现

• 在ScanNetV2数据集上，该方法在目标检测任务中达到63.4 mAP25，较Point-MAE提升1.7个百分点。
• 在ScanNetV2的语义分割任务中，该方法达到46.4 mIOU，较Point-MAE提升1.0个百分点。
• 消融实验表明，移除概念提取模块会导致准确率下降0.29个百分点，证明其必要性。
• 仅使用蒸馏损失训练250个周期后，重建损失降至5.63e-3，表明仅蒸馏即可实现强大的3D特征学习。
• 在蒸馏流程中添加重建头会降低性能，表明重建损失可能误导优化并限制泛化能力。
• 在ModelNet40数据集上，该方法在仅使用蒸馏损失的情况下，准确率达到92.71%，优于仅使用重建损失和仅使用蒸馏损失的基线方法。