[论文解读] Distillation with Contrast is All You Need for Self-Supervised Point Cloud Representation Learning

Kexue Fu, Peng Gao+4 more|arXiv (Cornell University)|Feb 9, 2022

3D Shape Modeling and Analysis被引用 13

一句话总结

该论文提出了一种自监督点云表征学习框架，结合知识蒸馏与对比学习，以联合捕捉全局形状不变性与局部到全局的结构关系。通过让学生网络模仿通过动量更新的教师网络在裁剪后的全局与局部点云视图上的输出，该方法在线性分类和下游任务中均取得了最先进性能，可视化结果证实模型关注了全局与局部结构特征。

ABSTRACT

In this paper, we propose a simple and general framework for self-supervised point cloud representation learning. Human beings understand the 3D world by extracting two levels of information and establishing the relationship between them. One is the global shape of an object, and the other is the local structures of it. However, few existing studies in point cloud representation learning explored how to learn both global shapes and local-to-global relationships without a specified network architecture. Inspired by how human beings understand the world, we utilize knowledge distillation to learn both global shape information and the relationship between global shape and local structures. At the same time, we combine contrastive learning with knowledge distillation to make the teacher network be better updated. Our method achieves the state-of-the-art performance on linear classification and multiple other downstream tasks. Especially, we develop a variant of ViT for 3D point cloud feature extraction, which also achieves comparable results with existing backbones when combined with our framework, and visualization of the attention maps show that our model does understand the point cloud by combining the global shape information and multiple local structural information, which is consistent with the inspiration of our representation learning method. Our code will be released soon.

研究动机与目标

• 开发一种通用的、与架构无关的自监督点云表征学习框架，以捕捉全局形状与局部到全局关系。
• 克服现有方法仅关注局部结构或未能建模局部部件与全局形状之间关系的局限性。
• 通过联合全局-局部学习，提升下游任务（如分类与语义分割）中的泛化性与鲁棒性。
• 通过结合全局形状与多个局部结构，验证模型是否学习到类似人类对3D物体的理解。
• 引入一种3D-ViT变体，其性能可与现有主干网络相媲美，并支持注意力可视化以增强可解释性。

提出的方法

• 该框架使用随机裁剪从同一输入生成全局与局部点云视图。
• 学生网络处理全局与局部视图，而教师网络仅处理全局视图。
• 通过学生预测与教师输出之间的交叉熵损失应用知识蒸馏，以传递全局形状知识。
• 采用带动量更新的对比学习动态优化教师网络，随时间提升表征质量。
• 学生网络被训练以模仿教师在全局视图上的输出，而局部视图则用于鼓励对局部结构的感知。
• 提出一种3D-ViT主干网络，作为纯Transformer架构的替代方案，可实现注意力图可视化以增强可解释性。

实验结果

研究问题

• RQ1 知识蒸馏与对比学习能否有效结合，以在点云中同时学习全局形状不变性与局部到全局的结构关系？
• RQ2 所提出的框架是否能在不同主干网络架构（包括基于ViT的模型）上实现良好泛化？
• RQ3 模型能否以符合人类对3D物体认知的方式，关注关键局部结构（如飞机上的引擎）？
• RQ4 与最先进自监督方法（如STRM）相比，该方法在鲁棒性与特征质量方面表现如何？
• RQ5 该框架是否能缓解特征坍塌问题，并确保潜在空间中特征的判别性与良好分布？

主要发现

• 所提方法在ModelNet40上的线性分类准确率达到74.05%，超越先前方法，达到最先进水平。
• 在Area 5基准上，该方法达到78.24%的准确率，优于STRM的77.28%。
• 使用本方法预训练的模型在不同点数（1024与2048）下均表现出优越鲁棒性，所有设置下性能均优于或匹配STRM。
• 特征分析显示，本方法避免了严重的特征坍塌，特征值分布平滑；而STRM则存在坍塌问题。
• 3D-ViT注意力图可视化结果表明，不同注意力头关注不同局部结构（如飞机上的左引擎），证实了多尺度的局部与全局特征学习。
• 3D-ViT主干网络性能可与现有最先进主干网络相媲美，验证了其在框架中的有效性。