[论文解读] Discrete Rotation Equivariance for Point Cloud Recognition

Jiaxin Li, Yingcai Bi+1 more|arXiv (Cornell University)|Mar 31, 2019

3D Shape Modeling and Analysis参考文献 43被引用 4

一句话总结

本文提出了一种针对点云识别的离散旋转等变方法，通过对接输入点云应用预定义的旋转，并利用特征排列实现 SO(2)/SO(3) 等变性。该方法在集成多层级网络（如 PointNet-FE）时，将 ModelNet40 上的分类准确率在旋转输入下提升了高达 10.8%，尤其在 SO(3) 旋转下表现显著，同时揭示了原始 PointNet 因其全局池化设计而失效的原因。

ABSTRACT

Despite the recent active research on processing point clouds with deep networks, few attention has been on the sensitivity of the networks to rotations. In this paper, we propose a deep learning architecture that achieves discrete $\mathbf{SO}(2)$/$\mathbf{SO}(3)$ rotation equivariance for point cloud recognition. Specifically, the rotation of an input point cloud with elements of a rotation group is similar to shuffling the feature vectors generated by our approach. The equivariance is easily reduced to invariance by eliminating the permutation with operations such as maximum or average. Our method can be directly applied to any existing point cloud based networks, resulting in significant improvements in their performance for rotated inputs. We show state-of-the-art results in the classification tasks with various datasets under both $\mathbf{SO}(2)$ and $\mathbf{SO}(3)$ rotations. In addition, we further analyze the necessary conditions of applying our approach to PointNet based networks. Source codes at https://github.com/lijx10/rot-equ-net

研究动机与目标

• 解决点云识别深度学习模型中缺乏旋转等变性的问题。
• 开发一种可泛化的通用方法，在无需架构重构的前提下实现离散 SO(2)/SO(3) 旋转等变性。
• 提升在旋转点云分类任务中的性能，尤其是在 SO(3) 旋转下的表现。
• 分析将该方法集成到现有网络（如 PointNet）中的结构需求。
• 为处理旋转变化提供一种系统化、可解释的替代数据增强方法。

提出的方法

• 为 SO(2) 或 SO(3) 中的离散旋转定义一个包含 k 个元素的旋转群 R = {r_i, i ∈ [0, ..., k-1]}。
• 将每个旋转 r_i 应用于输入点云，并将所有旋转后的版本输入同一网络，生成 k 个特征向量。
• 证明使用 R 中元素旋转输入点云将导致 k 个输出特征向量的排列，从而建立旋转等变性。
• 通过应用排列等变操作（如最大池化或平均池化）实现不变性。
• 在不修改其核心架构的前提下，将该方法集成到现有点云网络（如 PointNet、SO-Net、PointNet-FE）中。
• 未来方向包括使用极坐标变换将旋转等变性转换为平移等变性。

实验结果

研究问题

• RQ1 能否通过一种通用、即插即用的方法在点云网络中实现离散 SO(2)/SO(3) 旋转等变性？
• RQ2 与数据增强相比，该方法在旋转点云分类任务中的性能提升如何？
• RQ3 为何该方法在 PointNet-FE 和 SO-Net 上表现提升，但在原始 PointNet 上却表现下降？
• RQ4 网络需要具备哪些架构特性才能从所提出的等变性设计中受益？
• RQ5 能否通过坐标变换将该方法扩展至连续旋转等变性？

主要发现

• 所提出的方法在 ModelNet40 和 MNIST 上均实现了最先进的性能，适用于 SO(2) 和 SO(3) 旋转。
• 在 ModelNet40 上，当应用于 PointNet-FE 时，该方法在 SO(3) 旋转下将分类准确率提升了 10.8%。
• 对于 SO-Net，该方法在 SO(3) 旋转下将准确率提升了 4.4%，表明其在多层级网络中具有稳定的增益。
• 原始 PointNet 在应用该方法后，于 SO(3) 旋转下性能下降了 19.9%，原因是其全局池化设计限制了特征交互。
• 性能提升在 SO(3) 下比 SO(2) 更为显著，可能是因为数据增强在 2D 旋转场景下已具有效果。
• 增大旋转群大小可提升性能，但收益递减，且计算成本随群大小线性增长。