[论文解读] Matrix Multiplication, Trilinear Decompositions, APA Algorithms, and Summation

Victor Y. Pan|arXiv (Cornell University)|Dec 3, 2014

Tensor decomposition and applications参考文献 94被引用 3

一句话总结

本文重新审视矩阵乘法（MM）的算术复杂度，强调尽管理论进展已将指数从3降低至约2.38，但这些算法在中等规模输入下仍因巨大开销而难以实用。本文通过将基础MM技术——尤其是三线性分解和APA算法——与多项式乘法及二分分割相结合，重新评估了MM研究的相关性，展示了其在高效计算内积和求和方面的实际应用，超越了渐近理论的范畴。

ABSTRACT

Matrix multiplication (hereafter we use the acronym MM) is among the most fundamental operations of modern computations. The efficiency of its performance depends on various factors, in particular vectorization, data movement and arithmetic complexity of the computations, but here we focus just on the study of the arithmetic cost and the impact of this study on other areas of modern computing. In the early 1970s it was expected that the straightforward cubic time algorithm for MM will soon be accelerated to enable MM in nearly quadratic arithmetic time, with some far fetched implications. While pursuing this goal the mainstream research had its focus on the decrease of the classical exponent 3 of the complexity of MM towards its lower bound 2, disregarding the growth of the input size required to support this decrease. Eventually, surprising combinations of novel ideas and sophisticated techniques enabled the decrease of the exponent to its benchmark value of about 2.38, but the supporting MM algorithms improved the straightforward one only for the inputs of immense sizes. Meanwhile, the communication complexity, rather than the arithmetic complexity, has become the bottleneck of computations in linear algebra. This development may seem to undermine the value of the past and future research aimed at the decrease of the arithmetic cost of MM, but we feel that the study should be reassessed rather than closed and forgotten. We review the old and new work in this area in the present day context, recall some major techniques introduced in the study of MM, discuss their impact on the modern theory and practice of computations for MM and beyond MM, and link one of these techniques to some simple algorithms for inner product and summation.

研究动机与目标

• 在通信开销等现代计算瓶颈的背景下，重新评估数十年来致力于降低矩阵乘法算术复杂度研究的相关性。
• 证明为加速MM而开发的技术，特别是三线性分解和APA算法，在渐近性能之外也具有实际应用价值。
• 展示一种核心MM技术——多项式乘积的二分分割——可被改编以高效计算有界整数的内积与求和。
• 探索MM相关算法对实际计算（尤其是线性代数与数值计算）的实际影响，尽管其在中等规模输入下表现不佳。
• 突出MM理论与基本运算（如内积与求和）之间尚未被发掘的联系，提示算法优化的新方向。

提出的方法

• 使用三线性分解和APA（非对称预处理算法）将矩阵乘法建模为多重线性计算，从而实现对算术复杂度的结构化分析。
• 应用多项式表示法：对于向量u和v，构造多项式u(x) = Σu_i x^i 和 v(x) = Σv_i x^{n-1-i}，使得其乘积q(x) = u(x)v(x) 的中间系数q_{n-1}即为内积。
• 通过在x = 2^k处求值表示多项式，将内积转化为两个整数的乘积：q(2^k) = u(2^k)v(2^k)，并通过二分分割恢复q_{n-1}。
• 采用二分分割从两个大整数的乘积中隔离出中间系数q_{n-1}，避免在仅需一个系数时进行完整乘法。
• 通过将一个向量设为全1向量，将方法扩展至求和问题，从而将问题简化为从多项式乘积中提取单个系数。
• 分析布尔代价权衡：尽管完整整数乘法会增加位复杂度，但当结果可容纳于机器字长内，或子问题可递归处理时，该方法仍保持高效。

实验结果

研究问题

• RQ1 能否将用于降低矩阵乘法算术复杂度的技术实际应用于渐近性能界限之外？
• RQ2 是否可以通过多项式乘法与基于二分分割的系数提取，高效计算两个向量的内积？
• RQ3 从多项式乘积中隔离单个系数（如中间项）的计算代价与计算整个乘积相比如何？
• RQ4 MM相关算法对基本运算（如求和与内积计算）的实际影响如何，尤其在输入规模适中时？
• RQ5 MM中的张量分解技术与高效基本线性代数运算算法之间是否存在尚未被探索的联系？

主要发现

• 本文证明，矩阵乘法中的一种技术——多项式乘积的二分分割——可仅用O(n)次算术运算计算两个向量的内积，替代标准的n次乘法与n−1次加法。
• 对于n个有界整数的求和，该方法将问题简化为计算两个整数乘积中的单个系数，当结果可容纳于机器字长时，可实现高效计算。
• 该方法通过仅关注多项式乘积的中间系数（对应于内积或求和），避免了完整乘法，从而显著降低了计算开销。
• 与仅在n大到天文数字时才优于标准方法的高指数MM算法不同，该方法在中等输入规模下仍具实用性。
• 该技术可扩展至其他运算，如卷积、多项式最大公因式（GCD）与离散傅里叶变换，表明其在内积与求和之外也具有广泛适用性。
• 本文结论认为，尽管现代低指数MM算法的实际影响有限，但其背后的数学技术仍具价值，可被重新用于高效计算基本数值运算。