[论文解读] A Practical Method for Constructing Equivariant Multilayer Perceptrons for Arbitrary Matrix Groups

Marc Finzi, Max Welling+1 more|arXiv (Cornell University)|Apr 19, 2021

Topic Modeling参考文献 40被引用 25

一句话总结

这篇论文开发了一般算法，用于为任意矩阵群构建等变的多层感知器（EMLPs），包括像 O(5)、O(1,3)、Sp(n) 和 Rubik’s cube group 的群，具有高效的 Krylov 基于方法和一个双线性层。

ABSTRACT

Symmetries and equivariance are fundamental to the generalization of neural networks on domains such as images, graphs, and point clouds. Existing work has primarily focused on a small number of groups, such as the translation, rotation, and permutation groups. In this work we provide a completely general algorithm for solving for the equivariant layers of matrix groups. In addition to recovering solutions from other works as special cases, we construct multilayer perceptrons equivariant to multiple groups that have never been tackled before, including $\mathrm{O}(1,3)$, $\mathrm{O}(5)$, $\mathrm{Sp}(n)$, and the Rubik's cube group. Our approach outperforms non-equivariant baselines, with applications to particle physics and dynamical systems. We release our software library to enable researchers to construct equivariant layers for arbitrary matrix groups.

研究动机与目标

• 动机并形式化在各个领域尊重任意群对称性的神经网络的需求。
• 提供一个完整、通用的算法，用于刻画并构建任意矩阵群表示之间的等变线性层。
• 通过提供等变基底的高效计算和可扩展的网络架构，支持实际部署。
• 在先前不可行的群（例如 O(5)、O(1,3)、Sp(n)、Rubik’s cube group）上展示该方法，并发布一个可用的软件库。

提出的方法

• 为表示之间的映射建立等变约束：rho2(g) W rho1(g)^{-1} = W。
• 将无限约束集合化简为 O(M+D) 条有限条件，其中 M 是离散生成元的数量，D 是李群的维度。
• 通过 SVD 求解齐次系统来构造等变基，得到在零空间中的 v 满足 C v = 0，并将等变映射写成 v = Q β。
• 引入一种快速的 Krylov 基于零空间程序，在不形成大型表示矩阵的情况下高效计算基底。
• 利用块结构和 Kronecker 积来加速计算，使运行时间达到与标准 MLP 相近的水平。
• 使用等变线性层、门控非线性以及一个廉价的双线性层来实现不同张量表示之间的收缩，组装等变 MLP（EMLP）。

实验结果

研究问题

• RQ1 我们能否推导出一个完整且实用的算法，用于构建任意矩阵群及其表示的等变层？
• RQ2 如何在不枚举整个群的情况下高效地为大型或连续群计算等变基底？
• RQ3 在具有来自群如 O(5)、O(1,3)、Sp(n) 和 Rubik’s cube group 的对称性的任务上，EMLP 是否优于非等变基线？
• RQ4 通过指定群生成元和表示，建立新的群的完整 EMLP 是否可行？

主要发现

• 该方法将等变约束简化为 O(M+D) 个有限条件，并提供一个多项式时间求解器。
• 一种快速的 Krylov 基于算法高效计算等变基，使高维表示在实践中成为可能。
• 用所提出方法构建的 EMLP 在合成与动力系统任务中优于非等变基线。
• 该框架使用相同的底层架构成功处理了先前不可行的群，如 O(5)、O(1,3)、Sp(n) 和 Rubik’s cube group。
• 经验结果表明数据高效性和运行时与标准 MLP 相当。