[论文解读] Fast Matrix Multiplication: Limitations of the Laser Method

Andris Ambainis, Yuval Filmus+1 more|arXiv (Cornell University)|Nov 20, 2014

Tensor decomposition and applications参考文献 15被引用 17

一句话总结

本文通过证明对 Coppersmith–Winograd 恒等式的高阶张量幂无法实现矩阵乘法指数低于 2.3725，也无法证明 ω=2 的猜想，揭示了激光法在快速矩阵乘法中的根本局限性。作者提出了一套新的分析框架，该框架推广了先前的方法，解释了为何张量幂能提升性能，同时指出了使用此方法进一步改进的内在障碍。

ABSTRACT

Until a few years ago, the fastest known matrix multiplication algorithm, due to Coppersmith and Winograd (1990), ran in time $O(n^{2.3755})$. Recently, a surge of activity by Stothers, Vassilevska-Williams, and Le Gall has led to an improved algorithm running in time $O(n^{2.3729})$. These algorithms are obtained by analyzing higher and higher tensor powers of a certain identity of Coppersmith and Winograd. We show that this exact approach cannot result in an algorithm with running time $O(n^{2.3725})$, and identify a wide class of variants of this approach which cannot result in an algorithm with running time $O(n^{2.3078})$; in particular, this approach cannot prove the conjecture that for every $ε> 0$, two $n imes n$ matrices can be multiplied in time $O(n^{2+ε})$. We describe a new framework extending the original laser method, which is the method underlying the previously mentioned algorithms. Our framework accommodates the algorithms by Coppersmith and Winograd, Stothers, Vassilevska-Williams and Le Gall. We obtain our main result by analyzing this framework. The framework is also the first to explain why taking tensor powers of the Coppersmith-Winograd identity results in faster algorithms.

研究动机与目标

• 确定将激光法应用于 Coppersmith–Winograd 恒等式是否能实现矩阵乘法指数 ω < 2.3725。
• 研究激光法是否能通过 Coppersmith–Winograd 恒等式的任意张量幂证明 ω = 2 的猜想，即在 O(n^{2+ε}) 时间内完成矩阵乘法，其中任意 ε > 0。
• 开发一种新的分析框架，该框架推广并涵盖先前的激光法技术，包括 Coppersmith–Winograd、Stothers、Vassilevska-Williams 和 Le Gall 所使用的方法。
• 通过形式化其潜在的结构优势，解释为何对 Coppersmith–Winograd 恒等式取更高阶张量幂能产生更快的算法。

提出的方法

• 作者引入了一个新框架——合并值 $ V^{ ext{m}}_{ ho}( au) $，该框架推广了激光法，以考虑非 2 次幂的张量幂和可变的合并宽度。
• 他们定义了受限划分值 $ V^{ ext{pr}}_{ ho}( au^{igotimes 2^r}) $，用于分析张量幂在渐近性能上的界限。
• 该框架结合了相干合并，并利用 Schönhage 的渐近和不等式，将边界秩界限与矩阵乘法复杂度联系起来。
• 该方法通过在支撑集上的概率分布上进行优化，以界定张量分解的值。
• 该方法扩展了先前的工作，允许任意张量幂和非刚性合并方案，而不仅限于 2 的幂次和固定分组。
• 该分析依赖于基于熵的界限和凸优化，推导出可实现性能的上界。

实验结果

研究问题

• RQ1 将激光法应用于 Coppersmith–Winograd 恒等式是否能实现矩阵乘法指数 ω < 2.3725？
• RQ2 是否可能通过 Coppersmith–Winograd 恒等式的任意张量幂，利用激光法证明 ω = 2？
• RQ3 为何对 Coppersmith–Winograd 恒等式取更高阶张量幂能提升性能？其背后的结构特征是什么？
• RQ4 激光法能否推广至包含非 2 次幂张量幂和可变合并宽度，同时不损失性能？
• RQ5 当前对合并值 $ V^{ ext{m}}_{ ho}( au) $ 的上界是否紧致？分析中是否存在改进空间？

主要发现

• 无论使用何种张量幂，将激光法应用于 Coppersmith–Winograd 恒等式都无法得到时间复杂度为 O(n^{2.3725}) 的算法。
• 即使采用广义合并和非 2 次幂张量幂，该方法也无法实现 ω < 2.3078，表明证明 ω = 2 存在不可逾越的障碍。
• 新框架通过捕捉相干合并和可变划分带来的增益，解释了为何更高阶张量幂能提升性能。
• 对合并值 $ V^{ ext{m}}_{ ho}( au) $ 的上界并不紧致，暗示分析可进一步改进或需引入新方法。
• 对于 r ≥ 2，受限划分值 $ V^{ ext{pr}}_{ ho}( au^{igotimes 2^r}) $ 的下界与上界之间存在差距，表明仍存在未解决的优化挑战。
• 作者猜想，对 $ V^{ ext{pr}}_{ ho} $ 和 $ V^{ ext{m}}_{ ho} $ 的上界均不紧致，且通过更好的构造可能获得更优的界限。