[论文解读] Fast Feasible and Unfeasible Matrix Multiplication

Victor Y. Pan|arXiv (Cornell University)|Apr 11, 2018

Tensor decomposition and applications参考文献 117被引用 14

一句话总结

本文综述了快速矩阵乘法的最新进展，区分了可行与不可行的矩阵乘法算法。文章分析了理论指数降低与实际可应用性之间的权衡，强调了限制递归算法仅适用于极不现实的大矩阵的‘递归诅咒’问题，并重点介绍了近年来在可行矩阵乘法中实现低于 2.7734 指数的实用、可实现算法方面的进展。

ABSTRACT

Fast matrix-by-matrix multiplication (hereafter MM) is a highly recognized research subject. The record upper bound 3 of 1968 on the exponent of the complexity MM decreased below 2.38 by 1987, applies to celebrated problems in many areas of computing, and is extensively cited in the Theory of Computing. Further decrease of the exponent remains a celebrated challenge. Acceleration of MM in the Practice of Computing is a distinct challenge, because all known algorithms supporting the exponents below 2.7733 improve straightforward MM only for unfeasible MM of immense size, greatly exceeding the sizes of interest nowadays and in any foreseeable future. We first survey the mainstream study of the acceleration of MM of unbounded sizes, cover the progress in decreasing the exponents of MM, comment on its impact on the theory and practice of computing, and recall various fundamental concepts and techniques supporting fast MM and naturally introduced in that study by 1980. Then we demonstrate how the curse of recursion naturally entered the game of decreasing the record exponents. Finally we cover the State of the Art of efficient feasible MM, including some most efficient known techniques and algorithms as well as various issues of numerical and symbolic implementation. We hope that our review will help motivate and properly focus further effort in this highly important area.

研究动机与目标

• 分析自 1987 年以来将矩阵乘法指数降低至 2.38 以下的理论进展。
• 识别并解释阻碍快速理论算法在真实世界矩阵规模中应用的‘递归诅咒’。
• 调查并评估现代数值计算与符号计算软件中使用的高效、可实现的可行矩阵乘法算法。
• 比较递归算法（用于不可行矩阵乘法）与直接非递归技术（用于可行矩阵乘法）在性能和适用性上的差异。
• 通过阐明加速不可行（理论）与可行（实际）矩阵乘法所面临的独特挑战，为未来研究提供动力。

提出的方法

• 追溯从 1969 年 Strassen 算法到当前指数记录约 2.3728639 的矩阵乘法算法演进。
• 分析张量分解与三线性聚合在构建低指数双线性算法中的作用。
• 研究快速矩阵乘法算法的递归结构，并量化由于深度递归导致的输入规模膨胀，从而使其不切实际。
• 回顾快速傅里叶变换（FFT）及其逆变换在多项式乘法与卷积中的应用，这些技术是许多快速矩阵乘法方法的基础。
• 评估实际矩阵乘法算法（如基于 1982 年指数界 2.7734 的算法）的性能，包括其在现代软件中的实现。
• 比较基于 FFT 的卷积与直接方法的计算成本，表明在大输入下操作次数显著减少。

实验结果

研究问题

• RQ1 尽管历经数十年研究，为何自 1987 年以来矩阵乘法理论指数的降低进展停滞？
• RQ2 ‘递归诅咒’在多大程度上阻碍了理论上快速的矩阵乘法算法在实际中的应用？
• RQ3 目前已知的最高效可行矩阵乘法算法是什么？它们与旧的广泛使用的算法相比如何？
• RQ4 基于 FFT 的技术与多项式求值–插值方法在实践中如何促进矩阵乘法的加速？
• RQ5 目前理论下限 2 与实际可实现算法中能达到的最佳指数之间存在多大的差距？

主要发现

• 矩阵乘法指数已降低至约 2.3728639，但由于深度递归，该结果无法实际实现。
• ‘递归诅咒’导致递归快速矩阵乘法算法需要的输入规模远超当前或可预见的实际需求，因此其应用仅限于理论分析。
• 尽管有理论进展，现代数值与符号矩阵计算软件仍主要依赖于 40 多年前开发的算法，即使更高效的替代方案已存在。
• 指数低于 2.7734 的算法（如 1982 年的算法）仍是目前最实用且高效的可行矩阵乘法方法，并在现代软件中持续使用。
• 基于 FFT 的卷积与多项式求值–插值方法可显著减少算术操作次数，对于次数为 $ n $ 的卷积，成本约为 $ 2K + 4.5K\log_2 K $，其中 $ K = 2^k $ 且 $ K \approx 2n $。
• 逆 FFT 可通过共轭转置与缩放计算，从而实现高效的多项式插值，完整构建基于 FFT 的卷积流水线。