[论文解读] Improving the numerical stability of fast matrix multiplication algorithms.

Grey Ballard, Austin R. Benson+3 more|arXiv (Cornell University)|Jul 2, 2015

Tensor decomposition and applications参考文献 19被引用 4

一句话总结

本文通过收紧理论误差界、引入对角缩放以缓解异常输入引起的不准确性，提升了实用快速矩阵乘法算法的数值稳定性，并通过实验验证了精度和性能的提升。结果表明，快速算法的数值代价是可接受的，并可通过算法改进进一步降低。

ABSTRACT

Fast algorithms for matrix multiplication, or those that perform asymptotically fewer scalar operations than the classical algorithm, have been considered primarily of theoretical interest. Aside from Strassen's original algorithm, few fast algorithms have been efficiently implemented or used in practical applications. However, there exist many practical alternatives to Strassen's algorithm with varying performance and numerical properties. While fast algorithms are known to be numerically stable, their error bounds are slightly weaker than the classical algorithm. We argue in this paper that the numerical sacrifice of fast algorithms, particularly for the typical use cases of practical algorithms, is not prohibitive, and we explore ways to improve the accuracy both theoretically and empirically. The numerical accuracy of fast matrix multiplication depends on properties of the algorithm and of the input matrices, and we consider both contributions independently. We generalize and tighten previous error analyses of fast algorithms, compare the properties among the class of known practical fast algorithms, and discuss algorithmic techniques for improving the error guarantees. We also present means for reducing the numerical inaccuracies generated by anomalous input matrices using diagonal scaling matrices. Finally, we include empirical results that test the various improvement techniques, in terms of both their numerical accuracy and their performance.

研究动机与目标

• 解决长期以来认为快速矩阵乘法算法在数值稳定性上不如经典方法的观念。
• 分析并改进实用快速算法的数值精度，超越现有理论界限。
• 研究输入矩阵特性对快速矩阵乘法中数值误差的影响。
• 开发并评估算法技术（特别是对角缩放），以减少数值不准确性。
• 通过实验验证所提技术在精度提升与性能权衡方面的有效性。

提出的方法

• 推广并收紧以往针对快速矩阵乘法算法的误差分析，以提供更精确的理论界限。
• 分析输入矩阵结构对数值误差的影响，识别出不稳定现象出现的场景。
• 引入对角缩放矩阵作为预处理技术，以减少病态输入引起的数值不准确性。
• 设计并实现实验基准，评估多种快速算法在数值精度和性能方面的表现。
• 比较已知实用快速算法的数值特性，识别其在稳定性与效率之间的权衡。
• 结合理论分析与实验测试，评估缩放和算法改进的有效性。

实验结果

研究问题

• RQ1 实用快速矩阵乘法算法的理论误差界与经典算法相比如何？
• RQ2 输入矩阵特性在多大程度上会放大快速矩阵乘法中的数值误差？
• RQ3 对角缩放能否有效减少异常输入矩阵在快速矩阵乘法中的数值不准确性？
• RQ4 在快速算法中应用误差减少技术时，数值精度与性能之间的权衡如何？
• RQ5 在实际条件下，哪种快速矩阵乘法算法在精度、稳定性和性能之间达到最佳平衡？

主要发现

• 快速矩阵乘法算法的数值误差界可被推广并收紧，显示出改进的理论稳定性。
• 输入矩阵结构显著影响数值误差，某些矩阵会放大快速算法中的不稳定性。
• 对角缩放可减少由异常输入矩阵引起的数值不准确性，提升误差保证，且不牺牲性能。
• 实验结果证实，所提技术在保持竞争力性能的同时显著提升了数值精度。
• 快速算法相较于经典方法的数值损失在典型使用场景中并非不可接受，尤其在结合缩放与精细化误差分析后。
• 在已知的实用快速算法中，中间计算条件更好的算法表现出更强的数值稳定性。