[論文レビュー] Nuclear shell-model code for massive parallel computation, "KSHELL"

Noritaka Shimizu|arXiv (Cornell University)|Oct 21, 2013

Matrix Theory and Algorithms被引用数 15

ひとこと要約

KSHELLは、OpenMP-MPIハイブリッド並列化を用いた大規模並列計算を目的とした新しい核殻模型計算コードである。オンザフライでのハミルトニアン行列生成とMスケールにおけるトゥイストリスタート・ランコーズ法を採用し、高い並列効率を達成。富士通FX10スパコン上で8192コアにスケーリングし、1.09×10⁹次元の固有値問題を145秒で解いた。

ABSTRACT

A new code for nuclear shell-model calculations, "KSHELL", is developed. It aims at carrying out both massively parallel computation and single-node computation in the same manner. We solve the Schrödinger's equation in the $M$-scheme shell-model model space, utilizing Thick-Restart Lanczos method. During the Lanczos iteration, the whole Hamiltonian matrix elements are generated "on-the-fly" in every matrix-vector multiplication. The vectors of the Lanczos method are distributed and stored on memory of each parallel node. We report that the newly developed code has high parallel efficiency on FX10 supercomputer and a PC with multi-cores.

研究の動機と目的

• 単一ノードおよび大規模並列計算を両立できる、公開可能なスケーラブルな殻模型計算コードの開発。
• MPIノード間でのランコーズベクトルの分散保存により、大規模Mスケール殻模型計算におけるメモリ制限を克服すること。
• ランコーズ法における再帰的角運動量射影を用いて、非ヤラスト状態の効率的計算を可能とすること。
• 占有数とMz値に基づくMスケール基底のセクターへの分割により、任意の截断スキームをサポートすること。
• 追加の後処理を要せず、E2、M1、E1遷移強度および電磁モーメントを正確に算出できるようにすること。

提案手法

• 多数体状態の効率的取り扱いのため、ビット表現を用いたMスケール形式を採用。
• ランコーズ反復中にオンザフライでハミルトニアン行列要素を生成し、行列ベクトル乗算を実行。
• 再正規化のオーバーヘッドを低減し収束性を向上させるために、トゥイストリスタート・ランコーズ法を適用。
• 陽子および中性子の占有数とMz量子数に基づき、Mスケール基底を「パーティション」（または「セクター」）に分割し、負荷分散を実現。
• ランコーズベクトルをパーティション単位でMPIノードに分散配置し、主記憶に最大約100ベクトルを保持可能にすることで、再正規化を高速化。
• 再帰的ランコーズベースの射影を実装し、特に非ヤラスト状態の良い全角運動量状態を得ることを可能にした。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更を最小限に抑えながら、1台のPCから数千コアまで効率的にスケーリング可能な殻模型計算コードを設計できるか？
• RQ2 ランコーズベクトルをMPIノード間で分散保存することで、大規模Mスケール殻模型計算におけるメモリボトルネックをどのように緩和できるか？
• RQ3 現代のスパコン上で、オンザフライ行列生成とハイブリッドOpenMP-MPI並列化を用いた殻模型計算コードの性能スケーリングはどの程度か？
• RQ4 再帰的ランコーズ射影は、非ヤラスト状態計算の精度と効率をどの程度向上できるか？
• RQ5 Mスケール次元が10¹⁰を超える状況でも、高性能コンピュータおよび一般PCで高い計算効率を維持できるか？

主な発見

• KSHELLは、富士通FX10スパコン上で8192コアまで強スケーリングを達成し、1.087×10⁹次元の固有値問題を145秒で解いた。
• OpenMPスレッドを用いたPC上でも、ほぼ完璧な強スケーリングを示したが、ハイパースレーディングによる性能向上はほとんど見られなかった。
• ランコーズベクトルをパーティション単位でMPIノードに分散保存することで、メモリ使用量が著しく削減され、主記憶に最大約100ベクトルを保持可能となった。
• 事前計算を回避するオンザフライでのハミルトニアン行列要素生成により、特に大規模計算においてメモリフットプリントが削減された。
• E2、M1、E1遷移強度およびモーメントは、ランコーズ反復内での直接計算により、追加の後処理を要しない。
• KSHELLはMスケール次元がO(10¹⁰)まで対応可能であり、さらなるスケーリングも可能で、公開されており、対話型Pythonインタフェースを備えている。