[論文レビュー] An efficient multi-core implementation of a novel HSS-structured multifrontal solver using randomized sampling

Pieter Ghysels, Xiaoye Sherry Li+3 more|arXiv (Cornell University)|Feb 25, 2015

Sparse and Compressive Sensing Techniques参考文献 40被引用数 7

ひとこと要約

本稿では、ランダムサンプリングを用いて階層的半分離可能（HSS）行列圧縮を活用することで、計算複雑性を低減する、新しい多スレッド型マルチフォンタルソルバーの高性能実装を提示する。マルチフォンタル法における密行列をHSS構造で近似し、高速ULV分解を適用することにより、標準的なマルチフォンタル法と比較して最大7倍の高速化を達成し、共有メモリアーキテクチャ上での最先端のソルバーPARDISOを上回る性能を発揮する。

ABSTRACT

We present a sparse linear system solver that is based on a multifrontal variant of Gaussian elimination, and exploits low-rank approximation of the resulting dense frontal matrices. We use hierarchically semiseparable (HSS) matrices, which have low-rank off-diagonal blocks, to approximate the frontal matrices. For HSS matrix construction, a randomized sampling algorithm is used together with interpolative decompositions. The combination of the randomized compression with a fast ULV HSS factorization leads to a solver with lower computational complexity than the standard multifrontal method for many applications, resulting in speedups up to 7 fold for problems in our test suite. The implementation targets many-core systems by using task parallelism with dynamic runtime scheduling. Numerical experiments show performance improvements over state-of-the-art sparse direct solvers. The implementation achieves high performance and good scalability on a range of modern shared memory parallel systems, including the Intel Xeon Phi (MIC). The code is part of a software package called STRUMPACK -- STRUctured Matrices PACKage, which also has a distributed memory component for dense rank-structured matrices.

研究の動機と目的

• 大規模なスパース線形方程式系の計算複雑性を低減する高性能で多スレッド対応のマルチフォンタルソルバーの実装を開発すること。
• マルチフォンタルソルバーにおける密行列演算のボトルネックを、フォントラル行列内の低ランク構造を活用することで解消すること。
• Intel XeonやXeon Phiのような現代の共有メモリ型および多数コア型アーキテクチャ上で、効率的かつスケーラブルにスパース線形方程式系を解けるようにすること。
• ランダムサンプリングと積分的分解を用いてHSS行列構築の計算コストを低減し、近似的線形複雑性を達成すること。
• STRUMPACKソフトウェアパッケージにソルバーを統合し、共有メモリ環境および分散メモリ環境の両方をサポートすること。

提案手法

• 密なフォントラル行列を階層的半分離可能（HSS）行列で近似するマルチフォンタルアプローチを採用し、非対角ブロックが低ランクを持つ。
• ランダムサンプリングと積分的分解を用いてHSS行列を効率的に構築し、構築コストをO(N²)から近似的線形複雑性に削減する。
• 圧縮されたフォントラル行列に高速ULVに類似したHSS分解を適用し、線形方程式系の効率的解法を実現する。
• StarPUを介した動的ランタイムスケジューリングによるタスク並列処理を採用し、マルチコアおよび多数コア型システム上で高い性能とスケーラビリティを達成する。
• 因子分解全体を通じて大規模な密行列を明示的に生成しないようにし、HSS構造を維持する。
• ソルバーはSTRUMPACKパッケージに統合されており、密行列のランク構造を有する行列の共有メモリおよび分散メモリ実行を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 HSS行列圧縮は、スパース線形方程式系に対するマルチフォンタルソルバーの計算複雑性を顕著に低減できるか？
• RQ2 ランダムサンプリングと積分的分解により、近似的線形複雑性を持つ低コストなHSS行列の構築が可能か？
• RQ3 HSS圧縮を用いたマルチフォンタルソルバーは、Intel XeonやXeon Phiのような現代の多数コアアーキテクチャ上で高い性能とスケーラビリティを達成できるか？
• RQ4 HSSベースのソルバーの性能は、PARDISOのような最先端のスパース直接解法と比較してどうか？
• RQ5 スケーリングにおける主なボトルネックは何か？また、HSSランクと再順序付け戦略を最適化することで性能を向上させられるか？

主な発見

• HSS構造を有するマルチフォンタルソルバーは、さまざまなテスト問題において標準的なマルチフォンタル法と比較して最大7倍の高速化を達成した。
• 共有メモリシステム上では、商用のPARDISOソルバーを性能とスケーラビリティの両面で上回った。
• 数値的因子分解において、デュアルソケットのIntel Xeonおよび60コアのIntel Xeon Phiシステムの両方で強い並列スケーラビリティを示した。
• スレッド数の増加に伴い、MC64およびMETIS/SCOTCHを用いた再順序付けフェーズがボトルネックとなった。これは、並列再順序付けの改善が求められることを示唆している。
• 純粋なマルチフォンタルコードと比較して浮動小数点演算スループットが低くても、実装は高い性能と良好なスケーラビリティを維持している。これはさらなる最適化の余地があることを示している。
• ランダムサンプリングとULV分解の使用により、大規模な密行列を明示的に生成せずに完全な構造的HSS表現を実現できた。