[论文解读] Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds

Yongming Rao, Jiwen Lu+1 more|arXiv (Cornell University)|Mar 29, 2020

3D Shape Modeling and Analysis参考文献 52被引用 12

一句话总结

本文提出全局-局部双向推理（GLR），一种自监督的无监督3D点云表征学习方法，通过利用局部部件与全局形状之间的双向推理，实现性能突破。通过联合优化局部到全局的度量学习以及全局到局部的重建/法向估计，GLR在ModelNet40（93.0%）和ScanObjectNN（87.2%）上达到最先进性能，超越了部分有监督模型，且仅使用简单而宽泛的SSG PointNet++主干网络。

ABSTRACT

Local and global patterns of an object are closely related. Although each part of an object is incomplete, the underlying attributes about the object are shared among all parts, which makes reasoning the whole object from a single part possible. We hypothesize that a powerful representation of a 3D object should model the attributes that are shared between parts and the whole object, and distinguishable from other objects. Based on this hypothesis, we propose to learn point cloud representation by bidirectional reasoning between the local structures at different abstraction hierarchies and the global shape without human supervision. Experimental results on various benchmark datasets demonstrate the unsupervisedly learned representation is even better than supervised representation in discriminative power, generalization ability, and robustness. We show that unsupervisedly trained point cloud models can outperform their supervised counterparts on downstream classification tasks. Most notably, by simply increasing the channel width of an SSG PointNet++, our unsupervised model surpasses the state-of-the-art supervised methods on both synthetic and real-world 3D object classification datasets. We expect our observations to offer a new perspective on learning better representation from data structures instead of human annotations for point cloud understanding.

研究动机与目标

• 在无需人工标注监督的情况下，学习强大且可泛化的3D点云表征。
• 捕捉局部部件与3D物体全局形状之间共享的结构与高层语义知识。
• 通过利用3D点云中固有的结构一致性（即局部部件反映全局属性），提升无监督表征学习性能。
• 证明无监督模型在下游任务中可超越其有监督对应模型的判别能力与鲁棒性。

提出的方法

• 提出全局-局部双向推理（GLR），一种结合局部到全局与全局到局部推理的双流框架。
• 将局部到全局推理作为自监督度量学习任务：使局部特征比其他物体的特征更接近其全局特征。
• 通过自重建与法向估计实现全局到局部推理，以确保全局特征编码详细的结构信息。
• 将主干网络（SSG PointNet++）与用于重建和法向估计的辅助头集成，端到端联合训练，损失函数为对比损失。
• 使用最大池化后的全局特征作为下游分类任务的最终表征，整个训练过程无需任何人工标注标签。
• 采用线性SVM进行评估，以检验无监督特征的判别能力。

实验结果

研究问题

• RQ1 局部部件与全局形状之间的双向推理能否提升无监督3D点云表征学习？
• RQ2 基于结构与语义一致性的自监督学习能否在下游任务中超越有监督预训练？
• RQ3 当使用GLR进行预训练时，简单而宽泛的SSG PointNet++主干网络在多大程度上可实现最先进性能？
• RQ4 部件与整体对象之间的共享属性学习是否能增强3D分类任务中的泛化性与鲁棒性？

主要发现

• 无监督的GLR模型在ModelNet40上实现了93.0%的单视角分类准确率，超越了最先进有监督方法。
• 在真实世界数据集ScanObjectNN上，GLR模型达到87.2%的准确率，优于当前最先进的无监督与有监督基线模型。
• 即使使用简单而狭窄的SSG PointNet++主干网络，无监督GLR模型在ModelNet40上仍达到92.2%的准确率，超过许多有监督模型。
• 经多个基准验证，GLR学习到的无监督表征在判别性、泛化性与鲁棒性方面均优于其有监督对应模型。
• 增加SSG PointNet++主干网络的通道宽度可进一步提升性能，证明了GLR框架的可扩展性与有效性。