[论文解读] Geometry Sharing Network for 3D Point Cloud Classification and Segmentation

Mingye Xu, Zhipeng Zhou+1 more|arXiv (Cornell University)|Dec 23, 2019

3D Shape Modeling and Analysis参考文献 30被引用 6

一句话总结

本文提出几何共享网络（GS-Net），一种用于3D点云分类与分割的模型，通过在欧几里得空间和特征值空间中联合聚合特征，利用几何相似性连接（GSC）模块增强对几何变换的鲁棒性。通过利用特征图对远距离点进行分组，这些点具有相似的局部几何结构，GS-Net能够捕捉局部与整体的结构线索，在ModelNet40上实现93.3%的准确率，并对旋转和平移表现出更强的不变性。

ABSTRACT

In spite of the recent progresses on classifying 3D point cloud with deep CNNs, large geometric transformations like rotation and translation remain challenging problem and harm the final classification performance. To address this challenge, we propose Geometry Sharing Network (GS-Net) which effectively learns point descriptors with holistic context to enhance the robustness to geometric transformations. Compared with previous 3D point CNNs which perform convolution on nearby points, GS-Net can aggregate point features in a more global way. Specially, GS-Net consists of Geometry Similarity Connection (GSC) modules which exploit Eigen-Graph to group distant points with similar and relevant geometric information, and aggregate features from nearest neighbors in both Euclidean space and Eigenvalue space. This design allows GS-Net to efficiently capture both local and holistic geometric features such as symmetry, curvature, convexity and connectivity. Theoretically, we show the nearest neighbors of each point in Eigenvalue space are invariant to rotation and translation. We conduct extensive experiments on public datasets, ModelNet40, ShapeNet Part. Experiments demonstrate that GS-Net achieves the state-of-the-art performances on major datasets, 93.3% on ModelNet40, and are more robust to geometric transformations.

研究动机与目标

• 解决在大范围几何变换（如旋转和平移）下3D点云分类的挑战。
• 克服现有3D CNN仅依赖局部欧几里得邻域、难以捕捉全局几何结构的局限性。
• 通过整合局部几何上下文与远距离几何相似点的全局结构线索，改进特征表示。
• 通过在特征学习过程中利用结构张量和特征图，开发一种对刚性变换不变的方法。
• 在标准基准上实现最先进性能，同时保持计算效率和参数效率。

提出的方法

• 提出几何相似性连接（GSC）模块，将邻近点在欧几里得空间和特征值空间中分组，以捕捉局部与全局几何特征。
• 利用每个点的结构张量构建特征图，该张量编码了如曲率和对称性等局部几何属性。
• 利用结构张量的特征值和特征向量定义几何相似性，从而实现对具有相似局部几何结构的远距离点的分组。
• 在欧几里得空间和特征值空间的邻域上执行卷积操作，然后将所得特征进行拼接或融合，以用于下游任务。
• 理论上证明：在特征值空间中的最近邻点对旋转和平移保持不变，从而确保几何鲁棒性。
• 将GSC模块集成到点云分类与分割流程中，结合特征聚合与多尺度处理，以提升性能。

实验结果

研究问题

• RQ1 在欧几里得空间和特征值空间中联合进行特征聚合，是否能提升3D点云分析中对几何变换的鲁棒性？
• RQ2 能否通过基于结构张量的特征图有效分组具有相似局部几何结构的远距离点，以增强全局上下文捕捉能力？
• RQ3 利用局部结构张量的特征值和特征向量，是否能实现对旋转和平移的不变性？
• RQ4 结合局部与全局几何信息的GSC模块，是否能在3D点云任务中超越标准局部邻域卷积？
• RQ5 GS-Net在ModelNet40和ShapeNet Part等标准基准上，性能与鲁棒性提升的幅度有多大？

主要发现

• GS-Net在ModelNet40基准上实现了93.3%的分类准确率，创下新的最先进性能记录。
• 由于特征图邻居在旋转和平移下保持不变，该模型对几何变换表现出卓越的鲁棒性。
• 消融实验表明，将欧几里得空间与特征值空间的特征结合可获得最高准确率（92.9%），优于单一空间的特征聚合。
• 在输入特征中加入欧几里得距离与特征值差异，可将准确率提升至92.9%；而引入特征向量特征则会降低性能。
• GS-Net实现了具有竞争力的推理速度（前向传播时间126ms）与模型大小（6.0MB），相比先前方法展现出更高的参数效率。
• 可视化结果证实，绿色点（特征值空间中的邻居）即使在欧几里得空间中距离锚点较远，也与锚点具有几何相似性。