[论文解读] Faster Algorithms for Rectangular Matrix Multiplication

Gall, François Le|arXiv (Cornell University)|Apr 4, 2012

Complexity and Algorithms in Graphs被引用 74

一句话总结

本文提出了一种新的长方形矩阵乘法算法，改进了已知的指数 α 的上界，表明 α > 0.3029805825293869820274449 —— 相较于 Coppersmith（1997 年）此前创下的 α > 0.29462 记录，实现了提升。该方法通过将 Coppersmith-Winograd 框架扩展至基构造的高阶张量幂，并利用非线性规划优化参数，从而获得对 ω(1,1,k) 的更紧上界，该结果可应用于所有点对最短路径和稀疏矩阵乘法问题。

ABSTRACT

Let {\alpha} be the maximal value such that the product of an n x n^{\alpha} matrix by an n^{\alpha} x n matrix can be computed with n^{2+o(1)} arithmetic operations. In this paper we show that \alpha>0.30298, which improves the previous record \alpha>0.29462 by Coppersmith (Journal of Complexity, 1997). More generally, we construct a new algorithm for multiplying an n x n^k matrix by an n^k x n matrix, for any value k eq 1. The complexity of this algorithm is better than all known algorithms for rectangular matrix multiplication. In the case of square matrix multiplication (i.e., for k=1), we recover exactly the complexity of the algorithm by Coppersmith and Winograd (Journal of Symbolic Computation, 1990). These new upper bounds can be used to improve the time complexity of several known algorithms that rely on rectangular matrix multiplication. For example, we directly obtain a O(n^{2.5302})-time algorithm for the all-pairs shortest paths problem over directed graphs with small integer weights, improving over the O(n^{2.575})-time algorithm by Zwick (JACM 2002), and also improve the time complexity of sparse square matrix multiplication.

研究动机与目标

• 改进 α 的下界，其中 α 是满足 n × n^α 矩阵与 n^α × n 矩阵相乘可在 O(n^{2+ε}) 次操作内完成的最大值。
• 开发一种新的长方形矩阵乘法算法，其渐近时间复杂度优于以往方法。
• 将 Coppersmith-Winograd 框架扩展至基构造的更高阶张量幂，以获得对 ω(1,1,k) 的更优上界。
• 将新上界应用于改进基础算法（如所有点对最短路径和稀疏矩阵乘法）的时间复杂度。

提出的方法

• 采用 Coppersmith-Winograd 的张量化框架，并将其扩展至基构造 F_q 的高阶张量幂。
• 应用 Sch"onhage 的渐近和不等式，从三线性形式推导出对 ω(1,1,k) 的上界。
• 通过在参数 a400, a103, ..., a211 上进行非线性优化，满足约束条件并最小化对 ω(1,1,k) 的上界。
• 施加等式条件 MQ² = (q+2)²，以推导出对 α 的下界，要求对关键参数进行解析优化。
• 使用 Maple 和高精度算术求解优化问题，并通过数值方法验证约束条件。
• 通过比值 log R / log Q 推导出对 ω(1,1,k) 的上界，其中 R 和 Q 由张量积参数导出。

实验结果

研究问题

• RQ1 Coppersmith-Winograd 框架能否被扩展至更高阶张量幂，以改进长方形矩阵乘法的上界？
• RQ2 对于满足 n × n^α × n^α × n 矩阵乘法为 O(n^{2+ε}) 的最大指数 α，可达到的最佳下界是什么？
• RQ3 能否通过在张量构造中优化参数选择，为 k ≠ 1 的情况获得对 ω(1,1,k) 的更紧上界？
• RQ4 对 ω(1,1,k) 的改进上界如何转化为所有点对最短路径等基础算法更优的时间复杂度？
• RQ5 该优化框架能否系统性地应用，以在先前工作的基础上实现对 α 的非平凡改进？

主要发现

• 本文建立了新的下界 α > 0.3029805825293869820274449，优于此前记录的 α > 0.29462。
• 当 k = 0.5302 时，本文得到 ω(1,1,0.5302) < 2.060396，优于先前结果。
• 当 k = 0.75 时，得到 ω(1,1,0.75) < 2.190087，再次优于早期成果。
• 当 k = 2 时，推导出 ω(1,1,2) < 3.256689，优于先前的上界。
• 该算法恢复了 Coppersmith-Winograd 对于平方矩阵（k=1）的复杂度，确认与已知结果一致。
• 改进的上界导致所有点对最短路径（小整数权重）的算法时间复杂度为 O(n^{2.5302})，优于 Zwick 的 O(n^{2.575}) 算法。