[論文レビュー] A Parallel Algorithm for Calculation of Large Determinants with High Accuracy for GPUs and MPI clusters

Gleb Beliakov, Yuri Matiyasevich|arXiv (Cornell University)|Aug 7, 2013

Digital Image Processing Techniques参考文献 15被引用数 9

ひとこと要約

本稿では、GPUおよびMPIクラスタ上で任意精度で大規模な行列式および関連する小行列式を計算するための新規な並列アルゴリズムを提示する。ガウスの消去法を最適化されたデータ配置と組み合わせて実装し、最大168コアでほぼ線形のスケーラビリティを達成した。N=12,000の行列式を10,000桁の精度で正しく計算でき、リーマンゼータ関数の零点分布に関する新たな知見を可能にした。

ABSTRACT

We present a parallel algorithm for calculating very large determinants with arbitrary precision on computer clusters. This algorithm minimises data movements between the nodes and computes not only the determinant but also all minors corresponding to a particular row or column at a little extra cost, and also the determinants and minors of all submatrices in the top left corner at no extra cost. We implemented the algorithm in arbitrary precision arithmetic, suitable for very ill conditioned matrices, and empirically estimated the loss of precision. The algorithm was applied to studies of Riemann's zeta function.

研究の動機と目的

• リーマンゼータ関数の研究を目的として、極めて大きな、数値的に不安定な行列式を、最大10,000桁の精度で計算する課題に対処すること。
• 分散環境におけるノード間のデータ移動を最小限に抑えつつ、高い数値的精度を維持すること。
• 行列式に加えて、特定の行または列に対応するすべての小行列式、およびすべての主小行列式（左上部分行列の行列式）を追加コストなしに計算できること。
• 数値的に不安定な行列に対する高精度算術におけるガウスの消去法の過程で発生する精度損失を、実験的に推定できること。
• 高精度な行列式計算を通じて、非自明な零点の分布を研究するためのArtless法を支援すること。

提案手法

• 特定の列または行に対応する行列式とすべての小行列式を1回の走査で計算する、変更を加えたガウスの消去法を採用。中間の因子分解ステップを再利用する。
• 再帰的構造を維持することで、すべての主小行列式（左上部分行列の行列式）を追加コストなしに拡張可能。
• GPU（CUDA）、共有メモリ型マルチコア（pthreads、OpenMP）、分散メモリクラスタ（MPI）の複数アーキテクチャにわたる並列化を実装。
• 任意精度算術ライブラリ（例：cump、GMPLIB）を用いて、最大32,768ビット（10,000桁）の精度を扱う。
• MPI実装では、最大200コアまでほぼ線形のスループット向上を達成するよう、負荷分散を慎重に管理。
• 計算ノード間のデータ移動を最小限に抑え、ブロック単位の計算に最適化されたデータレイアウトを採用することで、メモリ帯域幅の圧力を軽減。

実験結果

リサーチクエスチョン

• RQ1 GPUおよびクラスタアーキテクチャ上で、10,000桁の精度を保ちながら大規模な行列式を効率的に並列計算できるか？
• RQ2 ほぼ特異な行列に対してガウスの消去法を実行する際、精度はどの程度劣化するか？また、選択した精度は意味のある結果を得るのに十分か？
• RQ3 1つの列に対応する小行列式を、行列式の計算とほぼ追加コストなしに同時に計算できるか？
• RQ4 分散環境において、計算コア数の増加に伴い、アルゴリズムのスケーリングがほぼ線形に保たれるか？
• RQ5 計算された小行列式は、リーマンゼータ関数の文脈において素数の分布と関連する有意義なパターンを示せるか？

主な発見

• クラスタ上で最大168コアまでほぼ線形のスループット向上を達成。N=12,000の行列に対して、壁時計時間は18時間以上から4時間未満に短縮された。
• 行列サイズN=12,000、32,768ビットの精度において、144プロセスで壁時計時間は654,120秒（約7.5日）であり、O(N³)の計算量と一致した。
• GPU実装では、任意精度算術を用いた場合、単一のCPUコアと同等の性能を示した。これは、このようなワークロードではGPUの恩恵が限定的であることを示唆した。
• CPU時間はO(N³)にほぼ比例し、精度を2倍にした際、約2.8倍に増加（Karatsuba乗算と整合）。GPUでは約3.95倍に増加（学校の乗算法と整合）。
• 実験的分析により、選択した精度はN=12,000までの行列に対して精度を保持するのに十分であり、期待される範囲を超えた崩壊的損失の兆候は観測されなかった。
• 計算された小行列式は、素数の分布と整合するパターンを示し、リーマンゼータ関数の研究におけるArtless法の理論的期待と一致した。