[論文レビュー] Parallel Triangular Solvers on GPU

Zhangxin Chen, Hui Liu+1 more|arXiv (Cornell University)|Jun 2, 2016

Matrix Theory and Algorithms参考文献 10被引用数 7

ひとこと要約

本稿では、GPUアーキテクチャに最適化された並列三角スolvesを可能にする新しいHEC（ハイブリッドELLとCSR）行列形式と、ILUおよびドメイン分割プリコンディショナに不可欠な下三角および上三角システムの効率的解法を提案する。この手法により、三角スolvesで最大7倍の高速化、全体の線形ソルバで最大10倍の高速化が達成され、RASプリコンディショナは多様なスパース行列において優れた安定性と性能を示した。

ABSTRACT

In this paper, we investigate GPU based parallel triangular solvers systematically. The parallel triangular solvers are fundamental to incomplete LU factorization family preconditioners and algebraic multigrid solvers. We develop a new matrix format suitable for GPU devices. Parallel lower triangular solvers and upper triangular solvers are developed for this new data structure. With these solvers, ILU preconditioners and domain decomposition preconditioners are developed. Numerical results show that we can speed triangular solvers around seven times faster.

研究の動機と目的

• GPU上で三角スolvesを効率的に並列化する課題に取り組み、これは反復的線形ソルバの根幹を成すが、本質的に逐次的である。
• GPUアーキテクチャ上でのスパース三角行列システムにおけるメモリアクセスの非効率性と不規則なデータパターンを克服する。
• ELLとCSR構造を統合した新しい行列形式（HEC）を開発し、メモリ効率性とコalescedメモリアクセスの両立を図る。
• レベルスケジューリングを用いて未知数を依存関係のチェーンに基づきレベルにグループ化し、GPU上のデータ並列実行を可能にする並列アルゴリズムを設計する。
• ブロックILU(k)、ILUT、および制限付き加法的 Schwarz（RAS）プリコンディショナに新しいスolvesを統合し、反復的線形システムの解法を加速する。

提案手法

• 正規の部分はELL形式（列優先、コalescedアクセス）で、不規則な部分はCSR形式（行ベース、可変長ストレージ）で保存するハイブリッドHEC（ハイブリッドELLとCSR）行列形式を提案する。
• 依存関係のチェーンに基づき未知数をレベルにグループ化するレベルスケジューリングを用い、同じレベルの未知数を並列に計算可能にする。
• 行列をレベル単位の構造に再配置するための再配置マップ m(i) を定義し、メモリコalescingを向上させ、不規則なアクセスパターンを低減する。
• 再配置済みHEC行列を用いて、GPUスレッドブロックを活用した並列カーネルを実装し、下三角および上三角スolvesを実行する。
• ブロックILU(k)、ILUT、および制限付き加法的 Schwarz（RAS）プリコンディショナに三角スolvesを統合し、Krylov部分空間法の高速化を図る。
• ELLデータを列優先順にアライメントし、非ゼロ要素数が顕著に変動する行にはCSRを用いることで、メモリアクセスパターンを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ELLとCSRを統合したハイブリッド行列形式は、GPU上での三角スolvesに向けたメモリアクセス効率性と並列性能を向上させ得るか？
• RQ2 レベルスケジューリングと行列再配置により、データ依存性はどの程度低減され、GPU上での三角スolvesの有効な並列化は可能になるか？
• RQ3 提案されたHECベースの三角スolvesは、ILUおよびドメイン分割プリコンディショナ用の既存GPUスolvesと比較して、性能でどの程度優れているか？
• RQ4 多様なスパース行列、特にスパarsityパターンが異なるものに対して、三角スolvesおよび全体の線形システム解法における実現可能な高速化はどの程度か？
• RQ5 大規模で不規則的かつ高レベルの異質性を持つ問題に適用した場合、得られるプリコンディショナ（例：RAS）の安定性とスケーラビリティはいかがなものか？

主な発見

• 提案されたHECベースの三角スolvesは、CPU実装と比較して最大7倍の高速化を達成し、複数のテスト行列で平均6–7倍の高速化を示した。
• ブロックILU(0)プリコンディショナは、三角スolves時間で3倍以上の高速化を達成し、GPU上では全体の線形ソルブで最大8倍の高速化を実現した。
• RASプリコンディショナは最高の安定性と性能を示し、大規模な行列ではソルブフェーズで最大9.32倍、三角スolvesで最大6.92倍の高速化を達成した。
• 不規則なスパarsityパターンを示すBILUTに対しては、三角スolvesで約2倍の高速化を達成したが、アルゴリズムの効率性のおかげで全体のソルブフェーズでも約6倍の高速化が達成された。
• SPE10ベンチマーク（220万未知数、2990万非ゼロ要素）では、BILUを用いる場合に全ソルブフェーズが6.2倍高速化され、RASを用いる場合でも5.1倍の高速化が達成された。BILUTの不規則構造にもかかわらず、この結果が得られた。
• ブロックプリコンディショナのブロック数を増やすことで性能が向上し、GPUアーキテクチャにおける強力なスケーラビリティが示された。