[论文解读] Dense Linear Algebra over Finite Fields: the FFLAS and FFPACK packages

Jean‐Guillaume Dumas, Pascal Giorgi+1 more|arXiv (Cornell University)|Jan 31, 2006

Polynomial and algebraic computation参考文献 34被引用 7

一句话总结

本文介绍了FFLAS与FFPACK，这两个高性能C++库针对字长素数域上的稠密线性代数计算，通过利用优化的数值内核与符号矩阵乘法算法，实现了接近数值BLAS级别的效率。主要贡献在于证明了通过仔细的算术管理与Winograd等快速算法的混合使用，有限域上的精确线性代数可以达到与数值BLAS相当的性能，从而在实现最优渐近时间复杂度的同时获得实际的性能提升。

ABSTRACT

In the past two decades, some major efforts have been made to reduce exact (e.g. integer, rational, polynomial) linear algebra problems to matrix multiplication in order to provide algorithms with optimal asymptotic complexity. To provide efficient implementations of such algorithms one need to be careful with the underlying arithmetic. It is well known that modular techniques such as the Chinese remainder algorithm or the p-adic lifting allow very good practical performance, especially when word size arithmetic are used. Therefore, finite field arithmetic becomes an important core for efficient exact linear algebra libraries. In this paper, we study high performance implementations of basic linear algebra routines over word size prime fields: specially the matrix multiplication; our goal being to provide an exact alternate to the numerical BLAS library. We show that this is made possible by a carefull combination of numerical computations and asymptotically faster algorithms. Our kernel has several symbolic linear algebra applications enabled by diverse matrix multiplication reductions: symbolic triangularization, system solving, determinant and matrix inverse implementations are thus studied.

研究动机与目标

• 开发针对有限域的高性能精确线性代数库，使其效率可与数值BLAS相媲美。
• 通过将问题约化为快速矩阵乘法，实现在精确线性代数中的最优渐近时间复杂度。
• 通过在有限域上使用硬件优化的数值内核进行精确算术运算，弥合符号计算与数值计算之间的鸿沟。
• 提供一种实用、可移植且自动调优的实现，用于字长素数域上的稠密线性代数计算。

提出的方法

• 将数值BLAS库（如ATLAS）作为有限域算术的底层内核，以最小化数据转换开销。
• 采用Winograd的符号矩阵乘法算法，结合递归分块与动态剥除技术以处理奇数维度。
• 采用延迟约化技术，以最小化中间计算过程中的溢出并保持精度。
• 设计Winograd算法的级联结构与调度策略，以最大化数据局部性并减少内存访问。
• 应用环同态与模算术，通过数值原语实现精确计算。
• 将快速算法（如类似Strassen的算法）集成到符号计算例程中，用于计算行列式、矩阵求逆与因式分解。

实验结果

研究问题

• RQ1 在使用字长素数域时，有限域上的精确线性代数能否实现与数值BLAS相当的性能？
• RQ2 如何优化符号矩阵乘法，使其速度可与数值矩阵乘法相匹配？
• RQ3 在有限域上进行符号矩阵乘法时，中间溢出的最佳管理策略是什么？
• RQ4 在不牺牲正确性或性能的前提下，数值BLAS内核在多大程度上可被重用于精确算术？
• RQ5 当应用于有限域上的精确线性代数时，Winograd等快速算法在实践中表现如何？

主要发现

• 在字长素数域上，符号矩阵乘法可实现与数值BLAS相当的性能，部分情况下实测速度提升接近1.5倍。
• FFLAS与FFPACK库证明了，通过使用优化的数值内核与精细的算术管理，精确线性代数的性能可与数值线性代数相媲美。
• 当结合动态剥除与延迟约化技术进行适当调优时，Winograd算法可实现最优的中间值边界，有效防止溢出。
• 该实现支持完整的符号线性代数运算，包括行列式、矩阵求逆与Moore-Penrose广义逆，其性能接近数值计算例程。
• 中间值的理论边界被证明为最优，且构造出一组矩阵序列，其达到最坏情况边界，证实了分析的紧致性。
• 该方法通过重用高度优化的数值内核，避免了整数算术的性能损耗，在现代架构上实现了比纯整数算术快2至4倍的性能提升。