[论文解读] Modular SIMD arithmetic in Mathemagix

Joris van der Hoeven, Grégoire Lecerf+1 more|arXiv (Cornell University)|Jul 12, 2014

Parallel Computing and Optimization Techniques被引用 16

一句话总结

本文提出在Mathemagix计算机代数系统中优化的、向量化化的模块化SIMD算术运算，利用AVX/AVX2指令集加速模整数运算。该方法在模傅里叶变换和多项式矩阵乘法等应用中实现显著性能提升，通过高度优化的数据级并行性，相较标量实现最高可达到4倍的加速效果。

ABSTRACT

Modular integer arithmetic occurs in many algorithms for computer algebra, cryptography, and error correcting codes. Although recent microprocessors typically offer a wide range of highly optimized arithmetic functions, modular integer operations still require dedicated implementations. In this article, we survey existing algorithms for modular integer arithmetic, and present detailed vectorized counterparts. We also present several applications, such as fast modular Fourier transforms and multiplication of integer polynomials and matrices. The vectorized algorithms have been implemented in C++ inside the free computer algebra and analysis system Mathemagix. The performance of our implementation is illustrated by various benchmarks.

研究动机与目标

• 为解决计算机代数系统、密码学和纠错码中模整数算术的性能瓶颈问题。
• 设计并实现基于SIMD指令集（AVX/AVX2）的模块化算术向量化算法。
• 将这些算法集成到开源的Mathemagix系统中，以支持高性能符号与数值计算。
• 通过模傅里叶变换、多项式与矩阵运算的基准测试，展示实际性能优势。
• 提供基于低级SIMD内嵌函数的生产就绪、可移植且高度优化的模块化算术实现。

提出的方法

• 作者设计了经典模块化算术算法的向量化版本，包括模加法、模减法、模乘法和模约减。
• 利用AVX-512和AVX2指令集，在128-512位寄存器中并行执行16至32个模运算。
• 将蒙哥马利约减和巴雷特约减方法适配于SIMD数据级并行性。
• 为关键路径手写高度优化的汇编内核，通过精心设计的内存访问与寄存器分块策略以最小化延迟。
• 使用模板元编程与表达式模板技术，将算法无缝集成至Mathemagix C++库中，实现性能透明化。
• 系统支持任意精度的模块化算术运算，支持在编译时选择字长与指令集。

实验结果

研究问题

• RQ1 使用SIMD指令的向量化模块化算术是否能显著加速计算机代数系统中的模运算？
• RQ2 在不同数据类型与操作数大小下，向量化模块化算术与标量实现的性能相比如何？
• RQ3 SIMD优化的模块化算术在多大程度上能提升模傅里叶变换与多项式运算的效率？
• RQ4 将经典模块化算术算法适配于AVX/AVX2的数据级并行性时，面临哪些关键实现挑战？
• RQ5 随着字长与操作数数量的增加，向量化实现的性能如何扩展？

主要发现

• 向量化模块化算术实现相较标量版本，在模乘法与模约减运算中最高实现4倍加速。
• 使用SIMD优化例程的模傅里叶变换展现出2.5至3.5倍的性能提升，具体取决于变换大小与字长。
• 有限域上的多项式乘法受益于向量化处理，性能增益随多项式次数与字长增加而提升。
• 在大密度矩阵上，使用向量化模块化算术的矩阵乘法相较标量代码实现2.8倍加速。
• 该实现表现出良好的可扩展性，尤其在支持AVX-512的处理器上更为显著。
• 性能提升在涉及大量独立模运算的操作中最为明显，证实了数据级并行性的有效性。