[论文解读] Matrix multiplication algorithms from group orbits

Joshua A. Grochow, Cristopher Moore|arXiv (Cornell University)|Dec 5, 2016

Tensor decomposition and applications参考文献 26被引用 5

一句话总结

本文提出了一种新颖的群论框架，通过有限群作用下对矩阵乘法张量进行轨道分解，构造高度对称的矩阵乘法算法。该框架推导出一种统一的基于格的构造方法，对所有 $ n $ 均可得到秩为 $ n^3 - n + 1 $ 的算法，提供了迄今为止最清晰的斯特拉斯森算法证明，并揭示了其与对称设计和格结构的深层联系。

ABSTRACT

We show how to construct highly symmetric algorithms for matrix multiplication. In particular, we consider algorithms which decompose the matrix multiplication tensor into a sum of rank-1 tensors, where the decomposition itself consists of orbits under some finite group action. We show how to use the representation theory of the corresponding group to derive simple constraints on the decomposition, which we solve by hand for n=2,3,4,5, recovering Strassen's algorithm (in a particularly symmetric form) and new algorithms for larger n. While these new algorithms do not improve the known upper bounds on tensor rank or the matrix multiplication exponent, they are beautiful in their own right, and we point out modifications of this idea that could plausibly lead to further improvements. Our constructions also suggest further patterns that could be mined for new algorithms, including a tantalizing connection with lattices. In particular, using lattices we give the most transparent proof to date of Strassen's algorithm; the same proof works for all n, to yield a decomposition with $n^3 - n + 1$ terms.

研究动机与目标

• 开发一种系统化方法，利用群作用与张量分解构造对称矩阵乘法算法。
• 以高度对称的形式恢复斯特拉斯森算法，并利用基于轨道的构造方法发现 $ n=3,4,5 $ 的新算法。
• 识别一种统一的基于格的构造方法，可推广至所有 $ n $，得到张量秩为 $ n^3 - n + 1 $ 的结果。
• 揭示对称算法中的结构模式，特别是与三重传递群作用和单纯形框架的联系。
• 提供斯特拉斯森算法的简洁、透明证明，且该证明可自然推广至所有 $ n $。

提出的方法

• 通过将张量 $ \text{MM}_n $ 分解为在有限群作用下形成轨道的秩-1项，构造矩阵乘法算法。
• 利用群的表示理论推导分解的约束条件，从而对小的 $ n $ 实现手动求解。
• 采用基于格的构造方法，其中向量 $ w_1, \dots, w_{n+1} $ 在 $ \mathbb{C}^{n+1} $ 中构成一个单纯形框架，以确保对称性与正交性。
• 推导关键恒等式：$ \text{MM}_n = \mathbf{1}^{\otimes 3} + \left(\frac{n}{n+1}\right)^3 \sum_{i,j,k \text{ distinct}} |w_i\rangle\langle w_j - w_i| \otimes \langle w_j|\langle w_k - w_j| \otimes |w_k\rangle\langle w_i - w_k| $，该式产生 $ n^3 - n + 1 $ 项。
• 利用 $ \sum_i |w_i\rangle = 0 $ 和 $ \frac{n}{n+1} \sum_i |w_i\rangle\langle w_i| = \mathbf{1} $ 的事实，简化张量收缩并验证正确性。
• 证明对所有不同索引的三元组 $ i,j,k $ 的对称求和可恢复 $ \text{MM}_n $，仅剩恒等项，其混合项通过迹为零条件实现抵消。

实验结果

研究问题

• RQ1 能否利用群轨道与表示理论系统性地构造高度对称的矩阵乘法算法？
• RQ2 是否存在一种统一的构造方法，可将斯特拉斯森算法推广至所有 $ n $，并给出闭式秩表达式？
• RQ3 格结构与单纯形框架在简化与统一矩阵乘法分解中起到何种作用？
• RQ4 在 $ n+1 $ 个点上是否存在三重传递群作用，可导出对 $ n \geq 2 $ 有效的矩阵乘法算法？
• RQ5 基于群轨道的对称构造如何揭示矩阵乘法中更深层次的代数或几何结构？

主要发现

• 本文利用群轨道构造了 $ n=2,3,4,5 $ 的对称矩阵乘法算法，以高度对称的形式恢复了斯特拉斯森算法。
• 对所有 $ n $，基于格的构造方法可得到张量秩为 $ n^3 - n + 1 $ 的有效矩阵乘法分解，从而推广了斯特拉斯森算法。
• 该构造提供了目前已知最清晰、最紧凑的斯特拉斯森算法证明，仅依赖于对称性与迹抵消。
• 该方法揭示，关键分解源于在 $ n+1 $ 个单纯形向量上的三重传递群作用，其中 $ S_{n+1} $ 作为对称群。
• 分解中对不同三元组 $ i,j,k $ 的求和贡献了 $ n^3 - n $ 项，而恒等项增加一项，总计 $ n^3 - n + 1 $ 个秩-1分量。
• 正确性证明依赖于向量空间恒等式：$ \sum_i |w_i\rangle = 0 $ 与 $ \frac{n}{n+1} \sum_i |w_i\rangle\langle w_i| = \mathbf{1} $，这些恒等式确保了混合项的抵消并完整恢复了 $ \text{MM}_n $。