[論文レビュー] Strong Scaling of Matrix Multiplication Algorithms and Memory-Independent Communication Lower Bounds

Grey Ballard, James Demmel+3 more|arXiv (Cornell University)|Feb 14, 2012

Stochastic Gradient Optimization Techniques参考文献 7被引用数 16

ひとこと要約

この論文は、分散記憶装置システムにおける古典的およびストラッセンベースの行列乗算アルゴリズムのメモリに依存しない通信の下界を確立し、完全な強スケーリング（プロセッサ数に比例して通信コストが線形に削減されること）が、問題サイズおよび局所メモリに依存する閾値を超えることはできないことを証明している。下界は、これらの閾値を超えると通信コストが非線形に増加することを示しており、最適なアルゴリズムであっても強スケーリングが制限されることを示している。

ABSTRACT

A parallel algorithm has perfect strong scaling if its running time on P processors is linear in 1/P, including all communication costs. Distributed-memory parallel algorithms for matrix multiplication with perfect strong scaling have only recently been found. One is based on classical matrix multiplication (Solomonik and Demmel, 2011), and one is based on Strassen's fast matrix multiplication (Ballard, Demmel, Holtz, Lipshitz, and Schwartz, 2012). Both algorithms scale perfectly, but only up to some number of processors where the inter-processor communication no longer scales. We obtain a memory-independent communication cost lower bound on classical and Strassen-based distributed-memory matrix multiplication algorithms. These bounds imply that no classical or Strassen-based parallel matrix multiplication algorithm can strongly scale perfectly beyond the ranges already attained by the two parallel algorithms mentioned above. The memory-independent bounds and the strong scaling bounds generalize to other algorithms.

研究の動機と目的

• 行列乗算アルゴリズムの既知の通信上界と理論的下界の間のギャップを埋める。
• 特に古典的およびストラッセンベースのアルゴリズムを対象として、分散記憶装置における完全な強スケーリングの限界を分析する。
• 行列乗算を超える他のアルゴリズムへ一般化可能な、メモリに依存しない通信下界を導出する。
• 通信コスト、問題サイズ、および局所メモリの間の根本的なトレードオフが、強スケーリング性能を制限する仕組みを特定する。

提案手法

• 計算DAGにおけるエッジ拡張に基づくグラフ理論的技法を用いて、メモリに依存しない通信下界を導出する。
• 帯域幅コストが送信されたワード数に比例し、レイテンシが送信されたメッセージ数に比例する分散記憶装置計算のモデルを適用する。
• ストラッセンのアルゴリズムの再帰的構造と、指数 ω₀ = log₂7 ≈ 2.81 を用いて高速行列乗算の下界を導出する。
• 十分に大きな P に対して、任意の通信最適化アルゴリズムは、ストラッセンベースのアルゴリズムで少なくとも Ω(n² / P²/ω₀) ワードを移動しなければならないことを証明する。
• 古典的行列乗算に対しても同様の仮定の下で、下界 Ω(n² / P²/³) を示す。
• LU分解、コレスキー分解、スパース行列演算を含む、f_ij(g_ijk(Mem(a), Mem(b))) の形をとる他のアルゴリズムに対しても、下界を一般化する。

実験結果

リサーチクエスチョン

• RQ1 分散記憶装置環境下でのストラッセンベースの行列乗算における通信コストの理論的限界は何か？
• RQ2 特定のプロセッサ数を超えて完全な強スケーリングを達成できるか。もしそうでないなら、その理由は何か？
• RQ3 メモリに依存しない通信下界とメモリに依存する下界の比較は、強スケーリングの上限を決定する上でどのように異なるか？
• RQ4 これらの通信下界は、他の密行列およびスパース行列線形代数アルゴリズムへどの程度一般化できるか？
• RQ5 問題サイズ、局所メモリ、および完全な強スケーリングが可能な最大プロセッサ数との関係は何か？

主な発見

• この論文は、ストラッセンベースの行列乗算に対して、メモリに依存しない通信下界 Ω(n² / P²/ω₀) を確立し、ここで ω₀ = log₂7 ≈ 2.81 である。
• 古典的行列乗算の場合、メモリに依存しない下界は Ω(n² / P²/³) であり、特定のプロセッサ数を超えるとこれが支配的になる。
• 完全な強スケーリング（プロセッサ数の増加に伴い実行時間が線形に短縮されること）は、ストラッセンでは P_max = Θ(P_min^{ω₀/2})、古典的乗算では P_max = Θ(P_min^{3/2}) までに限定される。
• 強スケーリング範囲の終了は、メモリ依存レイテンシ下界が定数に達する瞬間に一致しており、帯域幅スケーリングに起因する硬い制限を示している。
• 閾値 P_max を超えると、通信コストはストラッセンでは 1/P²/ω₀、古典的乗算では 1/P²/³ に比例するが、1/P に比例しないため、完全な強スケーリングは破綻する。
• 導出された下界は、LU/コレスキー分解、スパース行列同士の乗算、すべての頂点対最短経路問題など、同様の計算モデル下での他のアルゴリズムへも一般化可能である。