[論文レビュー] Modular SIMD arithmetic in Mathemagix

Joris van der Hoeven, Grégoire Lecerf+1 more|arXiv (Cornell University)|Jul 12, 2014

Parallel Computing and Optimization Techniques被引用数 16

ひとこと要約

本稿では、Mathemagixコンピュータ代数システムにおける最適化・ベクトル化されたSIMDモジュラー算術を提示している。AVX/AVX2命令セットを活用することで、モジュラー整数演算の高速化を実現している。このアプローチにより、モジュラー高速フーリエ変換や多項式行列乗算といった応用分野で顕著な性能向上が達成され、スカラ実装と比較して最大4倍の高速化を実現した。これは、高度に最適化されたデータレベル並列処理によるものである。

ABSTRACT

Modular integer arithmetic occurs in many algorithms for computer algebra, cryptography, and error correcting codes. Although recent microprocessors typically offer a wide range of highly optimized arithmetic functions, modular integer operations still require dedicated implementations. In this article, we survey existing algorithms for modular integer arithmetic, and present detailed vectorized counterparts. We also present several applications, such as fast modular Fourier transforms and multiplication of integer polynomials and matrices. The vectorized algorithms have been implemented in C++ inside the free computer algebra and analysis system Mathemagix. The performance of our implementation is illustrated by various benchmarks.

研究の動機と目的

• コンピュータ代数システム、暗号化、エラー訂正符号におけるモジュラー整数算術の性能ボトルネックを解消すること。
• SIMD命令セット（AVX/AVX2）を用いたモジュラー算術のベクトル化アルゴリズムの設計および実装を行うこと。
• 高性能な記号的・数値的計算を実現するため、オープンソースのMathemagixシステムにこれらのアルゴリズムを統合すること。
• モジュラー高速フーリエ変換、多項式および行列演算におけるベンチマークを通じて、実用的な性能向上を示すこと。
• 低レベルのSIMDインライン命令を用いた生産用途対応で、ポータブルかつ高度に最適化されたモジュラー算術の実装を提供すること。

提案手法

• 著者は、古典的なモジュラー算術アルゴリズム（モジュラー加法、減法、乗法、還元）のベクトル化版を設計した。
• 128〜512ビットレジスタ上で16〜32個のモジュラー演算を並列に実行するために、AVX-512およびAVX2命令セットを活用した。
• データレベル並列処理に適応したモンゴメリー還元およびバーレット還元を採用した。
• 遅延を最小限に抑えるために、メモリアクセスとレジスタタイリングに注意を払い、重要なパスに対して手書きの最適化アセンブリカーネルを実装した。
• テンプレートメタプログラミングと式テンプレートを用いて、Mathemagix C++ライブラリにアルゴリズムを統合し、パフォーマンスの透明性を確保した。
• コンパイル時におけるワードサイズおよび命令セットの選択を可能とする、任意精度のモジュラー算術をサポートした。

実験結果

リサーチクエスチョン

• RQ1 SIMD命令を用いたベクトル化されたモジュラー算術は、コンピュータ代数システムにおけるモジュラー演算を顕著に高速化できるか？
• RQ2 異なるデータ型および被演算子サイズにおいて、ベクトル化されたモジュラー算術の性能はスカラ実装と比べてどの程度向上するか？
• RQ3 SIMD最適化されたモジュラー算術は、モジュラー高速フーリエ変換および多項式演算の効率をどの程度向上できるか？
• RQ4 AVX/AVX2を用いたデータレベル並列処理に古典的なモジュラー算術アルゴリズムを適応させる際の主な実装上の課題は何か？
• RQ5 ワードサイズおよび被演算子数の増加に伴い、ベクトル化された実装の性能はどのようにスケーリングするか？

主な発見

• ベクトル化されたモジュラー算術実装は、スカラ実装と比較して、モジュラー乗法および還元演算で最大4倍の高速化を達成した。
• SIMD最適化ルーチンを用いたモジュラー高速フーリエ変換は、変換サイズおよびワードサイズに応じて2.5倍から3.5倍の性能向上を示した。
• 有限体上の多項式乗法はベクトル化により恩恵を受け、多項式の次数およびワードサイズが増加するにつれて性能向上が顕著になった。
• 有限体上の行列乗法において、ベクトル化されたモジュラー算術を用いることで、スカラコードと比較して大規模な密行列で2.8倍の高速化が達成された。
• 特にAVX-512対応プロセッサ上で、ベクトル幅の増加に伴い強いスケーラビリティを示した。
• 大規模な独立したモジュラー演算を含む演算において、データレベル並列処理の有効性が顕著に確認された。