[論文レビュー] A Critical Path Approach to Analyzing Parallelism of Algorithmic Variants. Application to Cholesky Inversion

Henricus Bouwmeester, Julien Langou|arXiv (Cornell University)|Oct 11, 2010

Matrix Theory and Algorithms参考文献 5被引用数 9

ひとこと要約

本論文は、マルチコアアーキテクチャ上でのタイル化されたコレスキー逆行列計算のアルゴリズム的変種を評価・比較するためのクリティカルパス解析フレームワークを導入し、タスク数とFLOPベースの重みを用いる。実験により、クリティカルパスが最短のバリアント（バリアント3）が最良のパフォーマンスを達成することを示しており、48コアシステム上で検証された。これは、マルチコア環境におけるスケーラビリティの予測において、総FLOPよりもクリティカルパス長が優れた指標であることを示している。

ABSTRACT

Algorithms come with multiple variants which are obtained by changing the mathematical approach from which the algorithm is derived. These variants offer a wide spectrum of performance when implemented on a multicore platform and we seek to understand these differences in performances from a theoretical point of view. To that aim, we derive and present the critical path lengths of each algorithmic variant for our application problem which enables us to determine a lower bound on the time to solution. This metric provides an intuitive grasp of the performance of a variant and we present numerical experiments to validate the tightness of our lower bounds on practical applications. Our case study is the Cholesky inversion and its use in computing the inverse of a symmetric positive definite matrix.

研究の動機と目的

• マルチコアプラットフォーム上でのタイル化されたコレスキー逆行列のアルゴリズム的変種間のパフォーマンス差を理解すること。
• マルチコアアーキテクチャにおいて、総FLOPよりもクリティカルパス長がより関連性の高いパフォーマンス指標であることを確立すること。
• クリティカルパス解析を用いて、時間-ソリューションの理論的下限を導出すること。
• 48コアシステム上の数値実験を通じて、これらの下限のタイトさを検証すること。
• タイル化された線形代数における動的スケジューリングのための最適なアルゴリズム的変種の選定を支援すること。

提案手法

• データフローを表す依存関係を有するタスクの有向無閉路グラフ（DAG）としてコレスキー逆行列をモデル化する。
• 重みを一様または計算コスト（FLOP単位）に基づいて割り当て、重みの簡略化のためb³/3を単位として用いる。
• 各アルゴリズム的変種について、タスク数および総FLOPの両面でクリティカルパス長を計算する。
• BLAS/LAPACKカーネルを用いて、タイルベースのアルゴリズム（TILE_POTRF、TILE_TRTRI、TILE_LAUUM）に動的スケジューリングを適用する。
• オーバーヘッドとスケーラビリティを評価するため、インプレースおよびアウトオブプレイスの変種を比較する。
• クリティカルパス解析から得られるパフォーマンスの理論的上界を導出し、48コアマシン上の実験結果と照合する。

実験結果

リサーチクエスチョン

• RQ1 FLOPベースの重み付けにおいて、タイル化されたコレスキー逆行列のどのアルゴリズム的変種が最短のクリティカルパス長を示すか？
• RQ2 マルチコアプラットフォーム上での実際のパフォーマンスとクリティカルパス長はどの程度相関するか？
• RQ3 インプレースおよびアウトオブプレイスの実装は、クリティカルパス長とパフォーマンスにどの程度の影響を及ぼすか？
• RQ4 動的スケジューリング環境において、クリティカルパス長はスケーラビリティの信頼できる予測因子として機能するか？
• RQ5 総FLOPが類似しているにもかかわらず、なぜTILE_TRTRIのバリアント3が他の変種よりも優れたパフォーマンスを示すのか？

主な発見

• TILE_TRTRIのバリアント3が、FLOPベースのクリティカルパス長が最短であり、実験で優れたパフォーマンスを示す理由が説明できる。
• クリティカルパス長の指標は観測されたパフォーマンスと強く相関しており、実験結果は理論的上界と密接に一致する。
• アウトオブプレイスの変種はオーバーヘッドを引き起こすが、バッファ使用のおかげでバリアント1にのみ最短のクリティカルパスが見られる。バリアント2および3ではその現象は観察されない。
• クリティカルパス解析から導かれたパフォーマンスの上界は、スレッド数が少ないか非常に多い場合に最もタイトであり、中間範囲では多少の差異が生じる。
• クリティカルパス長は、タスクレベルの並列性が順序依存性によって制限されるマルチコアシステムにおいて、総FLOPよりもスケーラビリティの予測に優れた指標である。
• SC 2010向けのPLASMAソフトウェアリリースには、本研究のコレスキー逆行列実装が含まれる予定である。