[论文解读] Low Dimensional Invariant Embeddings for Universal Geometric Learning

Nadav Dym, Steven J. Gortler|arXiv (Cornell University)|May 5, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出一种通过从连续族中随机选取 $2D+1$ 个半代数不变量来构建几何深度学习中低维分离不变量的方法，实现了远少于传统方法的特征数量下的通用逼近。关键贡献在于证明了在 $D$-维域上作用于连续群时，仅需 $2D+1$ 个不变量即可实现完整轨道分离，显著降低了计算成本，同时保持理论上的普遍性。

ABSTRACT

This paper studies separating invariants: mappings on $D$ dimensional domains which are invariant to an appropriate group action, and which separate orbits. The motivation for this study comes from the usefulness of separating invariants in proving universality of equivariant neural network architectures. We observe that in several cases the cardinality of separating invariants proposed in the machine learning literature is much larger than the dimension $D$. As a result, the theoretical universal constructions based on these separating invariants is unrealistically large. Our goal in this paper is to resolve this issue. We show that when a continuous family of semi-algebraic separating invariants is available, separation can be obtained by randomly selecting $2D+1 $ of these invariants. We apply this methodology to obtain an efficient scheme for computing separating invariants for several classical group actions which have been studied in the invariant learning literature. Examples include matrix multiplication actions on point clouds by permutations, rotations, and various other linear groups. Often the requirement of invariant separation is relaxed and only generic separation is required. In this case, we show that only $D+1$ invariants are required. More importantly, generic invariants are often significantly easier to compute, as we illustrate by discussing generic and full separation for weighted graphs. Finally we outline an approach for proving that separating invariants can be constructed also when the random parameters have finite precision.

研究动机与目标

• 解决现有通用等变网络构建中分离不变量数量过多的问题。
• 证明在 $D$-维域上连续群作用下，仅 $2D+1$ 个不变量足以实现轨道分离。
• 为经典群作用（如置换、旋转和线性群）提供一种高效且计算可行的分离不变量构造方法。
• 探讨完全分离与一般分离之间的权衡，表明 $D+1$ 个不变量足以实现一般分离，通常更易计算。
• 为在有限精度随机参数下证明不变学习的普遍性奠定基础。

提出的方法

• 利用连续族中的半代数分离不变量，通过随机选取 $2D+1$ 个不变量构建随机嵌入。
• 应用嵌入 $\phi(x) = (\phi_1(x), \dots, \phi_m(x))$，其中 $m = 2D+1$，每个 $\phi_i$ 为一个半代数不变函数。
• 基于横截性和维数论证，利用理论结果证明此类随机选择几乎必然确保轨道分离。
• 在置换、旋转和作用于点云的线性群等群作用上验证该方法。
• 对于一般分离，仅使用 $D+1$ 个不变量，其计算更简单，且在奇异集在数据分布中测度较小时已足够。
• 通过低内在维数 $D$ 的合成点云对方法进行实证验证，结果表明使用 $m = 2D+1$ 时测试准确率极高。

实验结果

研究问题

• RQ1 能否将实现通用几何学习所需的分离不变量数量减少至低于多项式生成集的规模？
• RQ2 是否可能仅从连续族中的半代数不变量中选取 $2D+1$ 个，即可实现完全轨道分离？
• RQ3 在实际中，使用 $D+1$ 个不变量的一般分离与使用 $2D+1$ 个不变量的完全分离在准确率和计算成本方面有何差异？
• RQ4 在群作用或数据分布发生扰动时，所得不变嵌入的稳定性如何？
• RQ5 该理论框架能否扩展至现实实现中有限精度随机参数的情形？

主要发现

• 对于 $D=1$，使用 $m=3$ 个不变量的嵌入在二分类任务中达到 98% 的测试准确率，表明即使在高外蕴维数下也能实现有效分离。
• 实验表格中的对角线条目证实，$m = 2D+1$ 的嵌入实现了高准确率，验证了其注入性的理论保证。
• 使用 $m > 2D+1$ 个不变量可进一步提升准确率，与深度学习中过参数化的益处一致。
• 当奇异集在数据分布中测度较低时，使用 $D+1$ 个不变量的一般分离在计算上通常可行且足够。
• 该方法将所需不变量数量从超过 1.8 亿个（如幂和多项式）减少至仅 2048 个，适用于 $3\times1024$ 点云，减少量级达数个数量级。
• 该方法使可证明通用的不变学习成为可能，且相比经典不变理论构造，计算复杂度显著降低。