[論文レビュー] An Asynchronous Task-based Fan-Both Sparse Cholesky Solver

Mathias Jacquelin, Yili Zheng+2 more|arXiv (Cornell University)|Jul 29, 2016

Matrix Theory and Algorithms参考文献 7被引用数 8

ひとこと要約

この論文では、動的スケジューリングとUPC++を介したワンサイド通信を活用して、分散メモリシステム上で優れたパフォーマンスを達成する非同期的でタスクベースのスパースコレスキー分解ソルバー、symPACKを提示する。対称性を活用し通信オーバーヘッドを最小限に抑えることで、最先端のソルバーを上回り、af_shell7問題では最大7.77倍の高速化を達成し、最良の対称ソルバーと比較して平均3.21倍の高速化を実現した。

ABSTRACT

Systems of linear equations arise at the heart of many scientific and engineering applications. Many of these linear systems are sparse; i.e., most of the elements in the coefficient matrix are zero. Direct methods based on matrix factorizations are sometimes needed to ensure accurate solutions. For example, accurate solution of sparse linear systems is needed in shift-invert Lanczos to compute interior eigenvalues. The performance and resource usage of sparse matrix factorizations are critical to time-to-solution and maximum problem size solvable on a given platform. In many applications, the coefficient matrices are symmetric, and exploiting symmetry will reduce both the amount of work and storage cost required for factorization. When the factorization is performed on large-scale distributed memory platforms, communication cost is critical to the performance of the algorithm. At the same time, network topologies have become increasingly complex, so that modern platforms exhibit a high level of performance variability. This makes scheduling of computations an intricate and performance-critical task. In this paper, we investigate the use of an asynchronous task paradigm, one-sided communication and dynamic scheduling in implementing sparse Cholesky factorization (symPACK) on large-scale distributed memory platforms. Our solver symPACK relies on efficient and flexible communication primitives provided by the UPC++ library. Performance evaluation shows good scalability and that symPACK outperforms state-of-the-art parallel distributed memory factorization packages, validating our approach on practical cases.

研究の動機と目的

• 大規模な分散メモリプラットフォームにおけるスパース対称正定値線形方程式系の解法におけるパフォーマンスボトルネックを解消すること。
• 現代のスーパーコンピュータにおける複雑なネットワークトポロジーとパフォーマンスのばらつきに起因する通信およびスケジューリングの課題を克服すること。
• 満たしを最小限に抑え、対称性を活用して計算コストとストレージコストを削減するスケーラブルで効率的なスパースコレスキー因子分解を開発すること。
• 非対称LU因子分解を避けることで、メモリ制約下の環境でも高性能な因子分解を可能にすること。
• スパース線形代数ワークロードにおける非同期タスクベース計算と動的スケジューリング、ワンサイド通信の有効性を検証すること。

提案手法

• 計算と通信を分離する非同期的タスクベースプログラミングモデルを採用し、細粒度の負荷分散を可能にする。
• ノード内での動的スケジューリングを用い、実行時の利用可能性とデータ依存関係に基づいてタスクを適応的に割り当てる。
• UPC++を介したワンサイド通信を実装し、同期のオーバーヘッドを低減し、分散メモリシステムにおけるスケーラビリティを向上させる。
• 超ノード再順序付けとデータ構造を適用し、同じスパarsityパターンを持つ列をグループ化することで、満たしを最小限に抑え、データ局所性を向上させる。
• バッファ領域が枯渇した非同期通信においてデッドロックを回避するためのスケジューリング制約を導入する。
• 行列の対称性を活用し、下三角因子のみを格納することで、ストレージコストと計算コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 非同期的タスクベース計算は、大規模な分散メモリシステムにおけるスパースコレスキー因子分解のパフォーマンスとスケーラビリティをどのように向上させるか？
• RQ2 不規則なデータアクセスパターンを示すスパースコレスキーソルバーにおいて、動的スケジューリングは負荷分散とパフォーマンスにどのような影響を与えるか？
• RQ3 UPC++を介したワンサイド通信は、従来のMPIベースのアプローチと比較して通信オーバーヘッドを低減し、スケーラビリティを向上させられるか？
• RQ4 SuperLU_DIST、MUMPS、PASTIXといった最先端の対称および非対称ソルバーと比較して、symPACKはパフォーマンスとメモリ効率の面でどの程度優れているか？
• RQ5 非対称LU因子分解を避ける場合、特にメモリ制約下でも、提案手法がどの程度高いパフォーマンスを維持できるか？

主な発見

• symPACKは、最良の対称ソルバーと比較して平均3.21倍の高速化を達成し、af_shell7問題では最大7.77倍の高速化を実現し、強力なスケーラビリティを示した。
• audikw_1およびbone010行列において、symPACKはそれぞれ最良の対称ソルバーと比較して平均1.77倍および1.47倍の高速化を達成した。これは、SuperLU_DISTが速い場合でも同様に成立した。
• af_shell7問題において、symPACKはすべての最先端ソルバーを上回り、最大7.77倍、最小0.89倍の高速化を達成した。
• すべてのテスト行列において2048プロセッサまでスケーリングに成功した。特に、PASTIXとMUMPSがメモリ制約のため失敗したboneS10においても同様であった。
• UPC++のワンサイド通信と非同期関数起動機能を活用することで、同期のオーバーヘッドを最小限に抑え、高効率なタスク実行が可能になった。
• 提案されたデッドロック回避スケジューリング制約は、非同期通信シナリオにおける通信バッファの枯渇を効果的に防止した。