[论文解读] Clifford Group Equivariant Neural Networks

David Ruhe, J. Brandstetter+1 more|arXiv (Cornell University)|May 18, 2023

Advanced Neuroimaging Techniques and Applications被引用 9

一句话总结

本文介绍 Clifford Group Equivariant Neural Networks (CGENNs)，通过利用作用于整个 Clifford 代数的 Clifford 群实现 O(n) 和 E(n) 等变性，从而使基于多项式、等级投影和几何积的神经网络层在各维度上具有泛化能力。

ABSTRACT

We introduce Clifford Group Equivariant Neural Networks: a novel approach for constructing $\mathrm{O}(n)$- and $\mathrm{E}(n)$-equivariant models. We identify and study the $ extit{Clifford group}$, a subgroup inside the Clifford algebra tailored to achieve several favorable properties. Primarily, the group's action forms an orthogonal automorphism that extends beyond the typical vector space to the entire Clifford algebra while respecting the multivector grading. This leads to several non-equivalent subrepresentations corresponding to the multivector decomposition. Furthermore, we prove that the action respects not just the vector space structure of the Clifford algebra but also its multiplicative structure, i.e., the geometric product. These findings imply that every polynomial in multivectors, An advantage worth mentioning is that we obtain expressive layers that can elegantly generalize to inner-product spaces of any dimension. We demonstrate, notably from a single core implementation, state-of-the-art performance on several distinct tasks, including a three-dimensional $n$-body experiment, a four-dimensional Lorentz-equivariant high-energy physics experiment, and a five-dimensional convex hull experiment.

研究动机与目标

• 在几何和物理问题中动机说明对称性与等变性在神经网络中的重要性。
• 开发基于 Clifford 代数的框架，使映射在 Clifford 群下具有等变性。
• 证明多项式和等级投影在 Clifford 群下具有等变性，并可以在神经网络层中参数化。
• 构建并评估 CGENN 层（线性、几何积和门控非线性）以符合 Clifford 群的作用。
• 证明在任意维度和度量符号下的泛化能力，使其实现 O(n) 与 E(n) 等变性。

提出的方法

• 定义 Cl(V,q) 及其分等级分解为 Cl^(m)(V,q)，其中 dim Cl^(m)=binomial(n,m)。
• 引入 Clifford 群 Γ(V,q) 与经过调整的扭曲共轭 ρ(w)，其作为代数自同构起作用。
• 证明 ρ(w) 保持等级并扩展二次型，使等级投影和多项式具有等变性。
• 利用在可导向基中的多向量输入对神经层进行参数化，使线性和几何积基变换成为可能。
• 使用归一化和定制的非线性函数在保持等变性的同时维持数值稳定性。
• 通过标量和向量将数据嵌入 Cl(V,q)，并通过等级投影的预测（标量或向量）产出。

实验结果

研究问题

• RQ1 Clifford-群在完整 Clifford 代数上的作用是否能在不依赖球谐基或 Clebsch–Gordan 系数的情况下，产生实用的 O(n) 或 E(n) 等变神经网络？
• RQ2 多向量的多项式和等级投影是否为等变层提供密集、表达力强且与维度无关的参数化？
• RQ3 与现有的等变结构相比，CGENN 层在需要几何和物理不变性的任务（如 n 体动力学、洛伦兹等变物理、高维凸包等）中的表现如何？
• RQ4 哪些有效的层设计（线性、几何积和全连接乘积层）及归一化方案能在实践中保持 Clifford 群等变性？

主要发现

• CGENNs 在多样化任务上达到最新水平，包括三维 n 体动力学、四维洛伦兹等变高能物理以及五维凸包问题。
• 所有等级投影都是 Clifford-群等变的，使得通过多向量的多项式参数化具有密集性和表达力。
• Clifford-群的作用自然扩展到完整的 Clifford 代数，在每个等级上产生正交表示，并避免显式张量积构造。
• 该框架可推广至任意维度和度量符号下的 O(n) 与 E(n) 等变性，而无需 Clebsch–Gordan 系数或替代基。
• 实验结果表明 CGENNs 在体积相关任务上优于标量化基线，在极低数据情境中也有一定的数据效率考虑。
• 该方法使对奇特几何对象（如伪矢量）的建模成为可能，并通过几何积保持乘法结构，丰富了表示能力。