[论文解读] Fast Matrix Multiplication and Symbolic Computation

Jean‐Guillaume Dumas, Victor Y. Pan|arXiv (Cornell University)|Dec 17, 2016

Tensor decomposition and applications参考文献 27被引用 8

一句话总结

本文综述了快速矩阵乘法（MM）技术，重点关注实际可行规模的矩阵，而非纯粹的理论渐近改进。文章强调三线性聚合、递归双线性算法和符号计算，指出[87]、[88]和[118]等算法通过结合低递归深度与高效的内存使用，在1982年以来实现了n ≤ 1,000,000范围内的记录性指数2.7734，具有实际性能提升。

ABSTRACT

The complexity of matrix multiplication (hereafter MM) has been intensively studied since 1969, when Strassen surprisingly decreased the exponent 3 in the cubic cost of the straightforward classical MM to log 2 (7) $\approx$ 2.8074. Applications to some fundamental problems of Linear Algebra and Computer Science have been immediately recognized, but the researchers in Computer Algebra keep discovering more and more applications even today, with no sign of slowdown. We survey the unfinished history of decreasing the exponent towards its information lower bound 2, recall some important techniques discovered in this process and linked to other fields of computing, reveal sample surprising applications to fast computation of the inner products of two vectors and summation of integers, and discuss the curse of recursion, which separates the progress in fast MM into its most acclaimed and purely theoretical part and into valuable acceleration of MM of feasible sizes. Then, in the second part of our paper, we cover fast MM in realistic symbolic computations and discuss applications and implementation of fast exact matrix multiplication. We first review how most of exact linear algebra can be reduced to matrix multiplication over small finite fields. Then we highlight the differences in the design of approximate and exact implementations of fast MM, taking into account nowadays processor and memory hierarchies. In the concluding section we comment on current perspectives of the study of fast MM.

研究动机与目标

• 将快速矩阵乘法的研究重点从纯粹的理论渐近指数降低，重新定位为实际可行规模的矩阵计算。
• 识别并分析在具有内存层次结构的现代处理器上高效实现快速MM的技术。
• 比较和对比快速MM的近似与精确实现，强调符号计算中数值稳定性和内存效率。
• 倡导从传统的基于2×2的递归双线性方法，转向更广泛的三线性与聚合方法，以推动未来进展。
• 解决递归深度过高导致的‘递归诅咒’问题，该问题限制了低指数但高递归深度算法的实际应用。

提出的方法

• 使用三线性分解与聚合，通过系数矩阵A、B和C表示矩阵乘法，实现对稀疏或结构化系数的高效实现。
• 采用基于快速2×2 MM的递归双线性算法，如[87]、[88]和[118]中的方法，降低算术成本，同时保持可实现性。
• 应用计算机搜索技术发现新的三线性分解，如[136]中所示，以寻找小矩阵（例如m,n,p ≤ 6）的高效算法。
• 利用小有限域将精确线性代数问题转化为矩阵乘法，实现精确且稳定的计算。
• 分析内存层次结构与向量化，以优化现代架构上的性能，偏好递归深度低且数据局部性高的算法。
• 提出一种‘日心说’视角——超越2×2递归——探索新型无Strassen技术，如聚合与APA（渐近快速近似）算法。

实验结果

研究问题

• RQ1 为何近年来将MM指数降低至2.37以下的理论进展，对实际计算无显著影响？
• RQ2 在快速MM算法中，理论指数降低与实际可实现性之间的关键权衡是什么？
• RQ3 三线性聚合与稀疏系数矩阵如何提升精确矩阵乘法的性能与稳定性？
• RQ4 内存层次结构与数据局部性在快速MM算法实际效率中扮演何种角色？
• RQ5 结合[87]、[88]、[118]与[136]的技术，能否在可行矩阵规模下实现低于2.7734的指数突破？

主要发现

• 自1982年以来，[118]中算法实现的指数2.7734在可行矩阵规模（n ≤ 1,000,000）下仍保持未被超越，尽管理论研究已推进至2.37。
• 基于三线性聚合与超稀疏系数矩阵的算法（如[87]、[88]）相比传统递归双线性方法，具有更高的内存效率与数值稳定性。
• 近期通过计算机搜索发现的[136]中算法，对小矩阵（min{m,n,p}=2，max≤6）实现了低于log₂(7)的指数，但因系数矩阵密集且实际性能不佳而受限。
• 基于快速2×2 MM的递归双线性算法仍是实现性能提升的最实际路径，尤其在针对内存层次结构与向量化进行优化后。
• ‘递归诅咒’使得低指数算法（如Coppersmith–Winograd）在矩阵规模远超实际可接受范围的多个数量级之前，无法超越经典MM。
• 未来实际快速MM的进展更可能源于将人类洞察与计算机搜索结合，设计融合[87]/[88]效率与[136]低指数优势的混合算法，而非继续追求理论指数的进一步降低。