[論文レビュー] Hierarchical QR factorization algorithms for multi-core cluster systems

Jack Dongarra, Mathieu Faverge+3 more|arXiv (Cornell University)|Oct 7, 2011

Parallel Computing and Optimization Techniques被引用数 4

ひとこと要約

本稿では、分散メモリを備えた階層的マルチコアクラスタシステムを想定した、HQRと呼ばれる階層的QR因子分解アルゴリズムを提案する。このアルゴリズムは、3レベルのクラスタ内還元木（TSレベル、低レベル、結合レベル）とクラスタ間のフラットツリー還元を組み合わせることで通信量を最小限に抑え、パフォーマンスを最大化することを目的としている。DAGuEスケジューリングフレームワークを用いて実装された本アルゴリズムは、正方行列において理論ピーク性能の最大68.7％を達成しており、すべての行列形状においてScaLAPACK、[BDD+10]、[SLHD10]を著しく上回っている。

ABSTRACT

This paper describes a new QR factorization algorithm which is especially designed for massively parallel platforms combining parallel distributed multi-core nodes. These platforms make the present and the foreseeable future of high-performance computing. Our new QR factorization algorithm falls in the category of the tile algorithms which naturally enables good data locality for the sequential kernels executed by the cores (high sequential performance), low number of messages in a parallel distributed setting (small latency term), and fine granularity (high parallelism).

研究の動機と目的

• 現代の階層的マルチコアクラスタシステム（分散メモリを備える）におけるQR因子分解の性能ボトルネックを解消すること。
• 通信を回避するアルゴリズムの設計により、大規模並列QR因子分解におけるプロセッサ間通信コストを低減すること。
• 階層的還元木を備えた柔軟でモジュラーなタイルベースのアルゴリズムにより、データ局所性と並列性を向上させること。
• DAGuEスケジューリングフレームワークを用いて、ペタスケールおよびエクサスケールプラットフォームにおける効率的でポータブルかつ自動化されたQR因子分解の実装を可能にすること。

提案手法

• アルゴリズムは、3つのクラスタ内レベル（TSレベル：キャッシュフレンドリー、低レベル：ノード間還元を分離、結合レベル：局所的およびグローバル還元の同期）を持つ階層的還元木構造を採用している。
• クラスタ間レベルではフラットツリーを用いることで、ノード間通信量を最小限に抑え、分散メモリ環境における遅延項を削減する。
• 本設計は、複数のカーネルタイプ、データ配置レイアウト、およびすべての階層レベルにおけるカスタマイズ可能な還元木をサポートしており、柔軟性とモularityを実現している。
• アルゴリズムはDAGuEスケジューリングツールを用いて実装されており、コアおよびノード間の細粒度並列性を活用するタスクスケジューリングを自動化している。
• タイルベースのアプローチにより、行列が小さな計算ユニット（タイル）に分割され、コア上で高い順方向性能と効率的な負荷分散が可能になる。
• 1次元および2次元のデータ配置をサポートし、ドミノ結合などの動的最適化により、負荷の不均衡やスターヴェーションを回避する。

実験結果

リサーチクエスチョン

• RQ1 共有メモリノードと分散メモリ接続を持つ階層的マルチコアクラスタシステムにおいて、QR因子分解をどのように最適化できるか？
• RQ2 通信量を最小限に抑えつつ、並列性とデータ局所性を最大化するには、どの階層的還元木構造が最適か？
• RQ3 クラスタ内およびクラスタ間の還元木の異なる組み合わせが、さまざまな行列形状（縦長から正方）においてパフォーマンスに与える影響はどの程度か？
• RQ4 柔軟でモジュラーなアルゴリズム設計は、ペタスケールおよびエクサスケールプラットフォームにおけるパフォーマンスとポータビリティをどの程度向上できるか？
• RQ5 DAGuEフレームワークは、複雑な通信を回避するQR因子分解アルゴリズムの実装を効果的に自動化できるか？

主な発見

• 縦長行列（240×4タイル）では、HQRは理論ピーク性能の57.5％を達成し、ScaLAPACK（6.4％）、[BDD+10]（18.3％）、[SLHD10]（43.5％）を最大9.0倍も上回っている。
• 正方行列（240×240タイル）では、HQRはピーク性能の68.7％に達しており、ScaLAPACK（44.2％）、[BDD+10]（62.2％）、[SLHD10]（46.7％）を著しく上回っており、最大1.5倍の性能向上を実現している。
• 3レベルのクラスタ内還元木（TS、低、結合）はすべてパフォーマンス向上に寄与しており、特に局所的還元とグローバル還元の相互作用を解消する結合レベルが重要である。
• フラットツリーを用いたクラスタ間還元により、通信量が削減され、特に列数の多い行列においてスケーラビリティが向上している。
• アルゴリズムの柔軟性により、十分な並列性が確保されている場合にはドミノ結合を一時的に無効化する動的最適化が可能となり、負荷バランスを損なわず効率が向上している。
• DAGuEベースの実装により、多様なハードウェア環境において自動的かつ効率的に、かつポータブルに展開可能であり、エクサスケールプラットフォームにおける高性能でスケーラブルなQR因子分解の実現可能性が示された。