[論文レビュー] Red-blue pebbling revisited: near optimal parallel matrix-matrix multiplication

Grzegorz Kwaśniewski, Marko Kabić+4 more|arXiv (Cornell University)|Aug 26, 2019

Parallel Computing and Optimization Techniques参考文献 50被引用数 10

ひとこと要約

COSMA は、赤青ペニャンゲームの抽象化を用いて最適な逐次スケジューリングを導出し、それを通信最適性を保ちながら並列化する近似通信最適な並列行列-行列積算法である。手動チューニングなしで、Piz Daint でピーク性能の最大 88% を達成し、ScaLAPACK や CARMA、CTF より最大 12.8 倍（平均 2.2 倍）の性能向上を達成した。

ABSTRACT

We propose COSMA: a parallel matrix-matrix multiplication algorithm that is near communication-optimal for all combinations of matrix dimensions, processor counts, and memory sizes. The key idea behind COSMA is to derive an optimal (up to a factor of 0.03\% for 10MB of fast memory) sequential schedule and then parallelize it, preserving I/O optimality. To achieve this, we use the red-blue pebble game to precisely model MMM dependencies and derive a constructive and tight sequential and parallel I/O lower bound proofs. Compared to 2D or 3D algorithms, which fix processor decomposition upfront and then map it to the matrix dimensions, it reduces communication volume by up to $\sqrt{3}$ times. COSMA outperforms the established ScaLAPACK, CARMA, and CTF algorithms in all scenarios up to 12.8x (2.2x on average), achieving up to 88\% of Piz Daint's peak performance. Our work does not require any hand tuning and is maintained as an open source implementation.

研究の動機と目的

• 非正方行列や任意のプロセッサ数に対して通信非効率な既存の並列行列-行列積算法の限界を解消すること。
• すべての行列次元、プロセッサ数、メモリサイズの組み合わせに対して I/O 最適となる統一されたアルゴリズムを開発すること。
• ブロックサイズやプロセッサグリッド構成の手動チューニングを不要とする、構成的で近似最適なスケジューリングを導出することで、高性能行列積における手動チューニングの必要性を排除すること。
• さまざまなワークロードとハードウェア構成において、ScaLAPACK や CARMA、CTF といった確立されたライブラリを上回る実用的性能を達成すること。

提案手法

• 赤青ペニャンゲームを用いて行列-行列積におけるデータ依存関係をモデル化し、逐次的および並列的 I/O の下界を厳密に導出する。
• メモリ制約下でペニャンジング問題を解くことで、与えられたメモリサイズに対して最小の I/O を実現する最適な逐次スケジューリングを構築する。
• 得られた逐次スケジューリングを並列化しながら I/O 最適性を保持し、2 のべき乗制約がなくとも任意のプロセッサ数にマッピング可能であるようにする。
• ブロックデータレイアウト、通信-計算のオーバーラップ、ワンサイド通信などのアルゴリズム最適化を適用して性能を向上させる。
• I/O 下界の構成的証明を活用し、10MB の高速メモリに対して理論的最小値から 0.03% の範囲内に収まるようにアルゴリズムを保証する。
• 再現性と HPC システムへの実用的導入を確保するため、オープンソースライブラリとして実装する。

実験結果

リサーチクエスチョン

• RQ1 すべての行列次元とプロセッサ数に一般化可能な通信最適な行列-行列積アルゴリズムを設計できるか？
• RQ2 赤青ペニャンゲームは、並列アルゴリズムの構成的でタイトな I/O 下界を導出するためにどの程度活用可能か？
• RQ3 実世界のシナリオにおいて、通信最適なアルゴリズムは ScaLAPACK や CARMA、CTF といった最新のライブラリと比べてどの程度の性能を発揮するか？
• RQ4 ブロックサイズやプロセッサグリッド構成の手動チューニングを必要とせずに、近似最適なアルゴリズムを実装できるか？
• RQ5 漸近的通信最適性は、現代のスーパーコンピュータにおける実際の実行時間と性能にどのような実用的影響を与えるか？

主な発見

• COSMA は、2D や 2.5D アルゴリズムと比較して通信量を最大 √3 倍まで削減でき、特に非正方行列や 2 のべき乗でないプロセッサ数の場合に顕著な恩恵をもたらす。
• アルゴリズムは、Piz Daint のピーク性能の最大 88% を達成し、全テスト構成において ScaLAPACK や CARMA、CTF を顕著に上回った。
• 一部のシナリオでは、既存で最も性能の高かったライブラリよりも 12.8 倍の高速化を達成し、平均でも 2.2 倍の高速化を実現した。これは実用的優位性を示している。
• 10MB の高速メモリに対して、理論的 I/O 下界から 0.03% の範囲内に収まるため、通信コストにおいて近似最適性が確認された。
• この手法は LU 分解やコレスキー分解などの他の線形代数カーネルへも一般化可能であり、複数のメモリレベルをサポートする。
• オープンソース実装により、手動チューニングの必要性が排除され、多様な HPC 環境に即座に導入可能で生産環境向けに最適化された状態となった。