[论文解读] Spin-Weighted Spherical CNNs

Carlos Esteves, Ameesh Makadia+1 more|arXiv (Cornell University)|Jun 18, 2020

Geophysics and Gravity Measurements参考文献 51被引用 10

一句话总结

本文提出了一种新型球面卷积神经网络架构——自旋加权球面CNN（SWSCNN），该架构利用自旋加权球面函数，在不提升至SO(3)的情况下，实现了直接在球面上的高效各向异性卷积，从而在保持SO(3)-等变性的同时避免了对SO(3)的显式提升。该方法在分类、3D形状分析和语义分割任务上均优于以往的球面CNN，同时保持了计算效率，并实现了向量场的等变处理。

ABSTRACT

Learning equivariant representations is a promising way to reduce sample and model complexity and improve the generalization performance of deep neural networks. The spherical CNNs are successful examples, producing SO(3)-equivariant representations of spherical inputs. There are two main types of spherical CNNs. The first type lifts the inputs to functions on the rotation group SO(3) and applies convolutions on the group, which are computationally expensive since SO(3) has one extra dimension. The second type applies convolutions directly on the sphere, which are limited to zonal (isotropic) filters, and thus have limited expressivity. In this paper, we present a new type of spherical CNN that allows anisotropic filters in an efficient way, without ever leaving the spherical domain. The key idea is to consider spin-weighted spherical functions, which were introduced in physics in the study of gravitational waves. These are complex-valued functions on the sphere whose phases change upon rotation. We define a convolution between spin-weighted functions and build a CNN based on it. The spin-weighted functions can also be interpreted as spherical vector fields, allowing applications to tasks where the inputs or outputs are vector fields. Experiments show that our method outperforms previous methods on tasks like classification of spherical images, classification of 3D shapes and semantic segmentation of spherical panoramas.

研究动机与目标

• 通过在不提升至SO(3)的前提下实现各向异性滤波器，解决球面CNN中表达能力与计算成本之间的权衡问题。
• 通过将向量场建模为自旋加权球面函数，将球面CNN扩展至可等变处理向量场。
• 通过将表面法向量编码为自旋加权通道，提升3D形状分析中的表示保真度。
• 在保持对直立和旋转输入的高性能的同时，通过在最后几层选择性地破坏等变性，实现全局SO(3)等变性。

提出的方法

• 该方法引入自旋加权球面函数（SWSFs），即在球面上定义的复值函数，其在旋转下通过相位偏移变换，从而支持向量场建模。
• 定义了自旋加权球面卷积（SWSConv），该卷积直接在球面上操作，通过使用自旋加权球面傅里叶变换（SWSFT）在频域中计算，保持SO(3)等变性。
• 网络架构使用具有不同自旋权重（如s=0表示标量，s=1表示切向量场）的SWSF多通道作为特征和滤波器。
• 将非线性激活、批量归一化和池化层适配于自旋加权特征，以保持等变性并支持深度学习。
• 对于需要全局等变性的任务，模型使用完整的SWSConv层；对于直立输入，则用标准2D卷积层替换最后几层（Ours + BE），以破坏等变性并提升准确率。
• SWSConv的频域计算对带限函数是精确的，通过逆SWSFT与频域中的乘法实现。

实验结果

研究问题

• RQ1 是否可以在不提升至SO(3)的前提下，高效实现球面CNN中的各向异性滤波器，同时保持SO(3)等变性？
• RQ2 自旋加权球面函数是否能够实现球面上向量场的等变处理，从而克服仅限标量的球面CNN的局限性？
• RQ3 使用自旋加权特征是否能通过唯一编码表面法向量，提升3D形状的表示能力？
• RQ4 模型是否能在保持对任意旋转的强泛化能力的同时，对直立输入仍保持高性能？

主要发现

• SWSCNN在球面MNIST（SVFMNIST）基准上达到最先进性能，在向量场分类、从标量预测向量场、从向量场预测标量等任务上均优于先前方法。
• 在ModelNet40上，模型在直立设置下达到94.1%的准确率，在旋转设置下达到91.3%，优于以往的球面CNN，并接近EMVN（需60张输入图像）的性能。
• 在Stanford 2D3DS数据集的语义分割任务中，模型达到55.6%的准确率和41.9%的mIoU，与当前最先进非等变模型持平，并超越了以往的等变方法。
• 当将法向量作为额外通道（s=1）引入时，性能提升至58.7%的准确率和43.4%的mIoU，证明了自旋加权表示在几何特征上的优势。
• Ours + BE变体在直立输入上达到58.7%的准确率，证实全局等变性并非在所有场景下都必要，且在特定设置下可适度放松以换取性能增益。
• 该方法通过SWSFT实现了卷积的精确计算，确保了对带限信号的理论SO(3)等变性，无近似误差。