[论文解读] Better Late Than Never: Filling a Void in the History of Fast Matrix Multiplication and Tensor Decompositions

Victor Y. Pan|arXiv (Cornell University)|Nov 6, 2014

Tensor decomposition and applications参考文献 2被引用 4

一句话总结

本文首次将维克多·Y·潘于1972年关于快速矩阵乘法的奠基性论文翻译成英文，引入了三线性聚合技术，以降低张量分解中矩阵乘法的秩。该研究建立了双线性与三线性分解在trace(ABD)形式下的关键理论联系，通过秩为0.5n³ + 3n²的分解，将MM(n,n,n)的指数降至约2.7962，显著优于1969年创下的2.8074的记录。

ABSTRACT

Multilinear and tensor decompositions are a popular tool in linear and multilinear algebra and have a wide range of important applications to modern computing. Our paper of 1972 presented the first nontrivial application of such decompositions to fundamental matrix computations and was also a landmark in the history of the acceleration of matrix multiplication. Published in 1972 in Russian, it has never been translated into English. It has been very rarely cited in the Western literature on matrix multiplication and never in the works on multilinear and tensor decompositions. This motivates us to present its translation into English, together with our brief comments on its impact on the two fields.

研究动机与目标

• 将维克多·Y·潘1972年关于快速矩阵乘法与张量分解的俄文论文翻译并重新引入英文语境，填补西方文献中的历史空白。
• 确立三线性聚合在降低矩阵乘法张量分解秩中的基础性作用，从而实现更高效的算法。
• 展示MM(m,k,n)的双线性分解如何可转化为trace(ABD)的三线性分解，从而将加速矩阵乘法的问题转化为寻找低秩三线性形式的搜索问题。
• 为基本矩阵乘法问题（包括MM(2,2,2)、MM(2,3,3)和MM(n,n,n)）提供秩与算术复杂度的显式界与构造方法。
• 证明MM(2,2,2)的7秩算法在等价意义下唯一，从而确认其最优性。

提出的方法

• 本文提出一种新颖的技术——三线性聚合，用于生成trace(ABD)形式的低秩三线性分解，该形式是矩阵乘法算法的基础。
• 证明MM(m,k,n)的双线性分解（秩为R）等价于trace(ABD)的三线性分解（秩也为R），从而实现将矩阵乘法问题转化为三线性形式分解。
• 该方法为MM(n,n,n)构造了一种特定的三线性分解，当n为偶数时，其秩为0.5n³ + 3n²，该结果源于对索引的对称分组与基于奇偶性的符号调整。
• 通过递归应用基本程序，将一般矩阵乘法问题约化为更小的、固定规模的问题，利用指数公式p_{mkn} = 3 log_{mkn} r_{mkn}。
• 本文建立了MM(m,k,n)六种排列之间的对偶性，表明一种问题的算法可通过对偶关系转化为其他问题的算法。
• 证明任何计算MM(2,2,n)的算法至少需要(m+n-1)k次乘除法，从而为复杂度提供了下界。

实验结果

研究问题

• RQ1 如何系统地构造trace(ABD)形式的三线性分解，以降低秩并从而加速矩阵乘法？
• RQ2 在矩阵乘法的语境下，双线性与三线性分解之间存在何种理论关系？二者如何相互转化？
• RQ3 能否将矩阵乘法的指数降至1969年创下的2.8074以下？若能，其机制为何？
• RQ4 对于MM(2,2,2)和MM(2,3,3)等基本矩阵乘法问题，目前已知的秩与算术复杂度的最紧上下界是什么？
• RQ5 MM(2,2,2)的7秩算法在等价意义下是否唯一？这对其最优性意味着什么？

主要发现

• 三线性聚合技术为MM(n,n,n)生成了秩为0.5n³ + 3n²（当n为偶数时）的trace(ABD)分解，使指数从2.8074降至约2.7962。
• 当n=70时，该分解的秩为143,640，对应的指数为3 log₇₀(143,640) < 2.7962，确认其渐近时间复杂度为O(n².⁷⁹⁶²)。
• 本文证明MM(2,2,2)的7秩算法在等价意义下唯一，从而确认其最优性，并确立其在快速矩阵乘法中的基础性地位。
• 本文建立了六种MM(m,k,n)排列之间的对偶性，表明一种问题的算法可通过对偶变换转化为其他问题的算法。
• 证明了下界：对于MM(2,2,n)，当n≥3时，至少需要3n+2次乘法；对于MM(2,3,3)，其秩被限制在15至16之间。
• 本文表明，秩r_{mkn}与算术复杂度q_{mkn}在mk+kn+mn的线性项范围内渐近等价，从而直接建立了复杂度与秩之间的联系。