[论文解读] Fast Matrix Multiplication: Limitations of the Coppersmith-Winograd Method

Andris Ambainis, Yuval Filmus+1 more|arXiv (Cornell University)|Jun 14, 2015

Tensor decomposition and applications参考文献 18被引用 25

一句话总结

本文揭示了Coppersmith-Winograd方法及其张量幂扩展在快速矩阵乘法中的根本局限性，证明该方法无法实现O(n^2.3725)甚至O(n^2.3078)的时间复杂度。文章提出了一种扩展激光法的新框架，解释了为何对Coppersmith-Winograd恒等式的更高阶张量幂能产生更快的算法，同时揭示了通过此路径进一步改进的内在障碍。

ABSTRACT

Until a few years ago, the fastest known matrix multiplication algorithm, due to Coppersmith and Winograd (1990), ran in time O(n2.3755). Recently, a surge of activity by Stothers, Vassilevska-Williams, and Le~Gall has led to an improved algorithm running in time O(n2.3729). These algorithms are obtained by analyzing higher and higher tensor powers of a certain identity of Coppersmith and Winograd. We show that this exact approach cannot result in an algorithm with running time O(n2.3725), and identify a wide class of variants of this approach which cannot result in an algorithm with running time $O(n^{2.3078}); in particular, this approach cannot prove the conjecture that for every e > 0, two n x n matrices can be multiplied in time O(n2+e).We describe a new framework extending the original laser method, which is the method underlying the previously mentioned algorithms. Our framework accommodates the algorithms by Coppersmith and Winograd, Stothers, Vassilevska-Williams and Le~Gall. We obtain our main result by analyzing this framework. The framework also explains why taking tensor powers of the Coppersmith--Winograd identity results in faster algorithms.

研究动机与目标

• 理解Coppersmith-Winograd方法及其张量幂扩展在实现更快矩阵乘法算法方面的理论极限。
• 识别先前通过Coppersmith-Winograd恒等式的更高阶张量幂实现改进的原因，并判断是否还能进一步推进。
• 确立当前方法无法实现O(n^2.3725)或O(n^2.3078)时间复杂度，因此无法证明矩阵乘法可在O(n^{2+ε})时间内完成（对任意ε > 0）的猜想。
• 开发一种扩展激光法的新框架，统一并推广现有算法，包括Coppersmith-Winograd、Stothers、Vassilevska-Williams和Le~Gall的算法。

提出的方法

• 本文提出一种新框架，推广了激光法——这是快速矩阵乘法算法的核心技术。
• 形式化分析Coppersmith-Winograd恒等式的高阶张量幂以提取矩阵乘法算法的过程。
• 该框架整合并扩展了先前工作中使用的方法技术，如Stothers、Vassilevska-Williams和Le~Gall的研究。
• 利用结构和代数约束，界定通过此方法可实现的矩阵乘法渐近指数的上限。
• 该方法识别出基于激光法的一类算法，其性能提升存在固有局限。
• 通过谱分析和组合分析方法，研究恒等式及其张量幂的结构，推导出可实现指数的界限。

实验结果

研究问题

• RQ1 Coppersmith-Winograd方法及其张量幂扩展能否实现低于O(n^2.3725)的指数？
• RQ2 当激光法应用于Coppersmith-Winograd恒等式及其变体时，其根本局限性是什么？
• RQ3 为何Coppersmith-Winograd恒等式的更高阶张量幂能产生更快的算法？这种效应能否被定量解释？
• RQ4 能否通过此方法证明矩阵乘法可在O(n^{2+ε})时间内完成（对每个ε > 0）的猜想？
• RQ5 能否开发一种统一框架，解释并推广基于激光法的现有快速矩阵乘法算法？

主要发现

• Coppersmith-Winograd方法及其张量幂变体无法实现低于O(n^2.3725)的指数。
• 基于该方法的广泛算法类无法实现低于O(n^2.3078)的指数。
• 该方法无法证明矩阵乘法可在O(n^{2+ε})时间内完成（对每个ε > 0）的猜想。
• 新框架成功推广并解释了激光法，统一了Coppersmith-Winograd、Stothers、Vassilevska-Williams和Le~Gall的算法。
• 该框架揭示了Coppersmith-Winograd恒等式更高阶张量幂为何能带来指数改善的结构性原因。
• 分析揭示了阻碍通过此方法实现进一步渐近改进的内在代数与组合障碍。