[論文レビュー] PSelInv -- A Distributed Memory Parallel Algorithm for Selected Inversion : the Symmetric Case

Mathias Jacquelin, Lin Lin+1 more|arXiv (Cornell University)|Apr 2, 2014

Parallel Computing and Optimization Techniques参考文献 39被引用数 12

ひとこと要約

PSelInv は、動的負荷バランスを実現する消去木走査を用いたスパースLU分解を用いて、スパース対称行列の選択的逆行列要素を計算するスケーラブルで分散メモリ並列アルゴリズムである。4,000コアを超える環境でも高い性能を発揮し、特に32,768原子までの系において、大規模な電子構造計算で最大127倍の高速化を実現する。

ABSTRACT

We describe an efficient parallel implementation of the selected inversion algorithm for distributed memory computer systems, which we call exttt{PSelInv}. The exttt{PSelInv} method computes selected elements of a general sparse matrix $A$ that can be decomposed as $A = LU$, where $L$ is lower triangular and $U$ is upper triangular. The implementation described in this paper focuses on the case of sparse symmetric matrices. It contains an interface that is compatible with the distributed memory parallel sparse direct factorization exttt{SuperLU\_DIST}. However, the underlying data structure and design of exttt{PSelInv} allows it to be easily combined with other factorization routines such as exttt{PARDISO}. We discuss general parallelization strategies such as data and task distribution schemes. In particular, we describe how to exploit the concurrency exposed by the elimination tree associated with the $LU$ factorization of $A$. We demonstrate the efficiency and accuracy of exttt{PSelInv} by presenting a number of numerical experiments. In particular, we show that exttt{PSelInv} can run efficiently on more than $4,000$ cores for a modestly sized matrix. We also demonstrate how exttt{PSelInv} can be used to accelerate large-scale electronic structure calculations.

研究の動機と目的

• 大規模な科学的シミュレーション、特に電子構造理論において、選択的逆行列要素の効率的計算のニーズに対応すること。
• 大規模なスパース行列に対しては計算コストが非常に高くなるため、全行列の逆行列計算の限界を克服すること。
• 消去木構造におけるスパarsityと並列性を活用し、スケーラブルで高性能な並列アルゴリズムを構築すること。
• 密度汎関数理論や動的平均場理論の応用において、トレース推定値や逆行列の対角成分を効率的に計算可能にする。
• 32,768原子までの行列に対して、分散メモリアーキテクチャで強いスケーラビリティを達成し、スケールアップにおいて従来の対角化手法を上回ること。

提案手法

• スパース対称行列のスパースLU分解（L と U）を用いて、選択的逆行列要素のスーパーセットを計算し、全逆行列の計算を回避する。
• 要因木に基づく走査戦略を採用し、要因化プロセスにおけるタスクレベルの並列性とデータ局所性を活用する。
• SuperLU DIST や PARDISO などの既存の分散メモリスパース直接解法器と、互換性のあるインターフェースを介して統合する。
• 消去木のノードを計算タスクにマッピングすることで、プロセッサ間での動的負荷バランスを実現し、並列性を最大化する。
• 分散メモリ環境における通信オーバーヘッドを低減するため、スパコンポーネントデータ構造を用いて計算をグループ化する。
• PEXSIフレームワークと統合することで、ハミルトニアン行列の選択的逆行列化を高速化し、大規模な電子構造計算を加速する。

実験結果

リサーチクエスチョン

• RQ1 スパース対称行列の選択的逆行列化は、数千コアを有する分散メモリシステムにおいて、効率的に並列化可能か？
• RQ2 大規模な電子構造計算において、問題サイズやプロセッサ数の増加に伴い、PSelInvの性能はどのようにスケーリングするか？
• RQ3 大規模シミュレーションにおいて、全行列対角化と比較して、PSelInvは計算コストをどの程度低減できるか？
• RQ4 非常に不定値または悪条件な行列に対しても、PSelInvは数値的精度をどのように維持できるか？
• RQ5 SuperLU DIST や PARDISO などの既存のスパース直接解法器を、生産用HPCワークフローに効果的に統合できるか？

主な発見

• PSelInv は4,000コアを超える環境でも効率的にスケーリングされ、32,768原子までの行列に対して強いスケーラビリティを示した。
• 32,768原子のグラフェン系において、PSelInv は327,680コアで合計241秒（選択的逆行列処理で87秒）のウォールクロック時間を達成し、対角化手法と比較して127倍の高速化を実現した。
• 8,192原子系では、対角化によるウォールクロック時間が21,556秒からPSelInvをPEXSIと組み合わせることで45秒に短縮され、127倍の高速化が達成された。
• 広範な数値実験を通じて、PSelInv は非常に不定値またはほぼ特異な行列に対しても高い数値的精度を維持していることが検証された。
• スケールアップにおいて、PSelInv は従来の対角化手法を上回る性能を発揮し、100万コアで対角化の実行時間が1,000秒を超えると予想される一方、PSelInv は250秒未満で収束した。
• PSelInv と PEXSI フレームワークの組み合わせにより、従来は立方則のスケーリングゆえに実行不可能とされていた大規模な電子構造計算が、実用的に行えるようになった。