[论文解读] 3D-Rotation-Equivariant Quaternion Neural Networks

Wen Shen, Binbin Zhang+3 more|arXiv (Cornell University)|Nov 20, 2019

Advanced Numerical Analysis Techniques参考文献 47被引用 13

一句话总结

该论文提出了旋转等变四元数神经网络（REQNNs），一种通过将输入和特征表示为四元数来改进现有3D点云网络以实现旋转等变性和排列不变性的框架。通过利用四元数代数确保输入点云的旋转在中间特征中得到镜像反映，REQNNs在任意旋转下于ModelNet40上实现了高达83.03%的准确率，相较于最先进方法在具有挑战性的设置中提升了超过14个百分点，展现出显著更高的旋转鲁棒性。

ABSTRACT

This paper proposes a set of rules to revise various neural networks for 3D point cloud processing to rotation-equivariant quaternion neural networks (REQNNs). We find that when a neural network uses quaternion features under certain conditions, the network feature naturally has the rotation-equivariance property. Rotation equivariance means that applying a specific rotation transformation to the input point cloud is equivalent to applying the same rotation transformation to all intermediate-layer quaternion features. Besides, the REQNN also ensures that the intermediate-layer features are invariant to the permutation of input points. Compared with the original neural network, the REQNN exhibits higher rotation robustness.

研究动机与目标

• 为解决标准3D点云神经网络在任意或未见朝向下的旋转鲁棒性不足问题。
• 开发一种可泛化的框架，可将现有3D点云网络转化为旋转等变且排列不变的模型。
• 通过操作中间四元数特征实现对旋转点云的重构。
• 在保持特征学习中四元数等变性的同时，为下游任务保留实值输出。

提出的方法

• 将输入点云和中间特征表示为四元数（ℍ中的元素），通过四元数乘法和共轭实现3D旋转操作。
• 通过对特征应用与输入相同的旋转变换，修改逐层操作（如卷积、ReLU、批归一化、最大池化）以实现旋转等变性。
• 将旋转等变性在数学上定义为 g(R∘x∘R̄) = R∘g(x)∘R̄，其中 R 为旋转四元数，∘ 表示逐元素四元数乘法。
• 通过输入点云中点重排下四元数表示的固有对称性，确保排列不变性。
• 通过将最终四元数特征的每个分量的平方模转换为实值输出，以在分类和回归头中保持旋转不变性。
• 通过在中间层对特征应用与原始输入相同的旋转，利用中间层四元数特征合成旋转后的点云。

实验结果

研究问题

• RQ1 能否开发一种通用框架，为现有3D点云网络赋予旋转等变性和排列不变性？
• RQ2 如何系统性地将四元数代数应用于逐层操作，以在网络深度上保持旋转等变性？
• RQ3 与标准网络相比，REQNN框架在应对任意输入旋转时，其鲁棒性提升程度如何？
• RQ4 中间四元数特征能否用于合成具有期望朝向的点云，从而体现实际可控性？
• RQ5 在将标准网络转换为REQNN时，表示能力与鲁棒性之间的权衡如何？

主要发现

• 基于DGCNN改进的REQNN在ModelNet40上于任意旋转设置（NR/AR）下达到83.03%的准确率，优于该挑战性设置下的所有基线方法。
• 在NR/AR场景中，REQNN相比PRIN高出14.18个百分点，相比QE-Capsule高出8.96个百分点，展现出卓越的旋转鲁棒性。
• 传统网络如PointNet和DGCNN在任意旋转下泛化能力差，其在ModelNet40上的准确率下降至21.93%–31.34%。
• 由于REQNN具备严格的旋转等变性，其在NR/NR和NR/AR两种场景下性能保持一致，验证了理论设计的完整性。
• 点云重建实验表明，旋转中间四元数特征可生成与直接旋转原始点云方向一致的重构点云。
• 通过在最后几层用其分量的平方模替换每个四元数特征，该方法在保持旋转等变性的同时，为分类和回归任务保留了实值输出。