[论文解读] Geometric Deep Learning and Equivariant Neural Networks

Jan E. Gerken, Jimmy Aronsson+5 more|arXiv (Cornell University)|May 28, 2021

Topological and Geometric Data Analysis被引用 5

一句话总结

本文提出了一套严谨的数学框架，用于在流形上使用群和规范等变神经网络进行几何深度学习，借助主丛和诱导表示。该框架表明等变层是表示之间的 intertwiner（互变算子），并通过 SO(3) 上的傅里叶分析，在球面和曲面数据上实现了语义分割和目标检测等任务的最先进性能。

ABSTRACT

We survey the mathematical foundations of geometric deep learning, focusing on group equivariant and gauge equivariant neural networks. We develop gauge equivariant convolutional neural networks on arbitrary manifolds $\mathcal{M}$ using principal bundles with structure group $K$ and equivariant maps between sections of associated vector bundles. We also discuss group equivariant neural networks for homogeneous spaces $\mathcal{M}=G/K$, which are instead equivariant with respect to the global symmetry $G$ on $\mathcal{M}$. Group equivariant layers can be interpreted as intertwiners between induced representations of $G$, and we show their relation to gauge equivariant convolutional layers. We analyze several applications of this formalism, including semantic segmentation and object detection networks. We also discuss the case of spherical networks in great detail, corresponding to the case $\mathcal{M}=S^2=\mathrm{SO}(3)/\mathrm{SO}(2)$. Here we emphasize the use of Fourier analysis involving Wigner matrices, spherical harmonics and Clebsch-Gordan coefficients for $G=\mathrm{SO}(3)$, illustrating the power of representation theory for deep learning.

研究动机与目标

• 开发基于群和规范等变性的几何深度学习统一数学基础。
• 使用主丛和相关向量丛的截面，形式化在任意流形上等变卷积层的构建。
• 将群等变层与对称群的诱导表示之间的 intertwiner 建立精确数学联系。
• 将该形式化方法应用于真实世界任务，如非欧几里得数据上的语义分割和目标检测。
• 对基于 SO(3) 表示理论的球面网络进行详尽处理，包括 Wigner 矩阵和 Clebsch–Gordan 系数。

提出的方法

• 使用结构群为 K 的主丛，形式化规范等变卷积，通过相关向量丛截面之间的等变映射实现。
• 基于诱导表示理论和 intertwiner 理论，推导出规范等变卷积层的一般形式。
• 将该框架应用于齐性空间 M = G/K，其中等变性相对于全局对称群 G 成立。
• 通过球面调和函数、Wigner 矩阵和 Clebsch–Gordan 系数，在 SO(3) 上使用傅里叶分析，构建球面卷积。
• 通过将 SE(3) 的正则表示投影到二维图像平面，构建 SE(3)-等变网络，实现对三维刚性变换的等变性。
• 证明群等变层受群作用下核不变性的约束，从而实现等变层的系统化设计。

实验结果

研究问题

• RQ1 如何利用微分几何和纤维丛理论，在任意流形上系统地构建群和规范等变神经网络？
• RQ2 等变层与对称群的诱导表示之间 intertwiner 的精确数学关系是什么？
• RQ3 如何基于 SO(3) 的表示理论（包括 Wigner 矩阵和 Clebsch–Gordan 系数）推导并实现球面卷积？
• RQ4 在鱼眼图像或球面信号等非欧几里得数据上，等变性在语义分割和目标检测中的性能提升程度如何？
• RQ5 在非传递群作用和非线性流形（如针孔相机模型中的流形）上扩展等变性的理论与实践挑战是什么？

主要发现

• 本文确立了群等变卷积层在数学上等价于对称群 G 的诱导表示之间的 intertwiner。
• 在流形上的规范等变网络通过主丛上相关向量丛的截面构建，等变性由结构群 K 确保。
• 对于球面数据（M = S² = SO(3)/SO(2)），该形式化方法可借助基于球面调和函数和 Wigner 矩阵的傅里叶变换实现高效计算。
• 利用 Clebsch–Gordan 系数可将特征图分解为不可约表示，从而实现结构化且高效的层设计。
• 该框架成功实现了 SE(3)-等变目标检测，通过将三维刚性变换投影到二维图像平面，输出特征在 SE(3) 的正则表示下变换。
• 作者证明等变性可提升单样本效率并减少对数据增强的依赖，线性模型有理论支持，非线性设置中亦有实证依据。