[论文解读] Rotation Invariant Point Cloud Classification: Where Local Geometry Meets Global Topology

Chen Zhao, Jiaqi Yang+4 more|arXiv (Cornell University)|Nov 1, 2019

3D Shape Modeling and Analysis参考文献 51被引用 22

一句话总结

该论文提出LGR-Net，一种双分支深度学习框架，通过基于注意力的特征融合模块，融合局部几何特征与全局拓扑保持表示，实现旋转不变的点云分类。该方法在ModelNet40、ShapeNet、ScanObjectNN和S3DIS的旋转增强版本上均优于最先进模型，在ScanObjectNN的OBJ_BG数据集上达到81.2%的准确率，同时保持完全的旋转不变性。

ABSTRACT

Point cloud analysis is a fundamental task in 3D computer vision. Most previous works have conducted experiments on synthetic datasets with well-aligned data; while real-world point clouds are often not pre-aligned. How to achieve rotation invariance remains an open problem in point cloud analysis. To meet this challenge, we propose a novel approach toward achieving rotation-invariant (RI) representations by combining local geometry with global topology. In our local-global-representation (LGR)-Net, we have designed a two-branch network where one stream encodes local geometric RI features and the other encodes global topology-preserving RI features. Motivated by the observation that local geometry and global topology have different yet complementary RI responses in varying regions, two-branch RI features are fused by an innovative multi-layer perceptron (MLP) based attention module. To the best of our knowledge, this work is the first principled approach toward adaptively combining global and local information under the context of RI point cloud analysis. Extensive experiments have demonstrated that our LGR-Net achieves the state-of-the-art performance on various rotation-augmented versions of ModelNet40, ShapeNet, ScanObjectNN, and S3DIS.

研究动机与目标

• 为解决真实世界点云分析中数据常未对齐所导致的旋转不变性挑战。
• 提出一种系统性方法，将局部几何不变性与全局拓扑不变性相结合，以提升鲁棒性。
• 设计一种双分支网络，通过自适应融合机制，利用局部与全局表征的互补性。
• 在旋转增强设置下，于合成与真实世界数据集上均展示出优越性能。

提出的方法

• 局部分支通过基于达布坐标系的扩展持久特征直方图提取旋转不变特征，以捕捉局部形状属性。
• 全局分支将点投影到由下采样骨架状结构导出的旋转等变全局坐标系中，以保持拓扑不变性。
• 提出一种基于多层感知机（MLP）的新型注意力模块，根据不同区域中特征的相关性，自适应地融合局部与全局特征。
• 网络采用交叉熵损失进行分类，以及焦点损失进行分割，端到端训练，确保对类别不平衡的鲁棒性。
• 通过在基准数据集的旋转增强版本上进行大量实验，验证旋转不变性。
• 消融实验确认，两个分支以及注意力融合机制对最优性能均不可或缺。

实验结果

研究问题

• RQ1 局部几何特征与全局拓扑特征能否有效结合，以实现旋转不变的点云分类？
• RQ2 与平均池化或拼接方法相比，基于注意力的局部与全局表征融合在性能上如何提升？
• RQ3 在点云的平面区域与角落区域中，局部与全局表征的贡献程度有何差异？
• RQ4 在旋转条件下，具有自适应融合的双分支架构是否优于单分支或单模态方法？

主要发现

• LGR-Net在ScanObjectNN的旋转增强OBJ_BG子集上达到81.2%的准确率，较单分支基线提升2.5个百分点。
• 消融实验表明，局部与全局分支均具有显著贡献，基于注意力的融合使准确率较Cat-Conv提升0.6%，较Avg-Pool提升9.6%。
• 采用注意力融合的双分支设计在SO3/SO3旋转增强的ModelNet40上达到81.2%的准确率，充分证明其强大的旋转不变性。
• 该方法在所有旋转增强基准数据集（包括S3DIS和ShapeNet）上均保持高mIoU与准确率，证实对任意旋转的鲁棒性。
• 将旋转不变的全局表征替换为对齐坐标后，准确率提升约6%，表明类别内方向不一致仍是当前挑战。
• 基于下采样骨架SVD的全局坐标系对噪声与缺失数据具有较强鲁棒性，但对这些干扰因素的敏感性仍是其局限。