[論文レビュー] Sparse Matrix Multiplication with Bandwidth Restricted All-to-All Communication.

Keren Censor-Hillel, Dean Leitersdorf+1 more|arXiv (Cornell University)|Feb 13, 2018

Complexity and Algorithms in Graphs参考文献 23被引用数 3

ひとこと要約

この論文は、帯域幅制限付きの全対全通信ラウンドを介して通信するCongested Cliqueモデルにおけるスパース行列積に対する決定的でスパarsityに配慮したアルゴリズムを提示する。行列要素を再構成することで、非連続でバランスの取れたタスク割り当てを保証し、通信コストを低減し、非ゼロ要素がo(n²)未塔の行列に対してラウンド複雑性を向上させる。一方の行列がスパースである場合でも、先行研究を上回る性能を発揮する。

ABSTRACT

We show how to multiply two $n imes n$ matrices over semirings in the Congested Clique model, where $n$ nodes synchronously communicate in an all-to-all manner using $O(\log n)$-bit messages, within a round complexity that depends on the number of non-zero elements in the input matrices. By leveraging the sparsity of the input matrices, our algorithm reduces communication costs and thus improves upon the state-of-the-art for matrices with $o(n^2)$ nonzero elements. Moreover, our algorithm exhibits the additional strength of surpassing previous solutions also in the case where only one of the two matrices is such. Particularly, this allows to efficiently raise a sparse matrix to a power greater than 2. As applications, we show how to speed up the computation on non-dense graphs of 3- and 4-cycle counting, as well as of all-pairs-shortest-paths. Our algorithmic contribution is a new deterministic method of restructuring the input matrices in a sparsity-aware manner, which assigns each node with element-wise multiplication tasks that are not necessarily consecutive but guarantee a balanced element distribution, providing for communication-efficient multiplication. As such, our technique may be useful in additional computational models.

研究の動機と目的

• すべてのノードがO(log n)ビットのメッセージに制限された全対全通信を行うCongested Cliqueモデルにおいて、スパース行列積の通信オーバーヘッドを低減すること。
• スパarsityを通信効率の良い方法で活用することで、非ゼロ要素がo(n²)未塔の行列に対するラウンド複雑性を向上させること。
• ノードに非連続でバランスの取れた乗算タスクを割り当てることで、負荷分散とデータ移動の低減を実現する決定的メソッドの開発。
• 一方の入力行列がスパースであっても、2より大きなスパース行列のべき乗を効率的に計算できること。
• 非密グラフにおける3-および4サイクルカウントや全ペアの最短路問題といった基本的なグラフアルゴリズムの高速化。

提案手法

• 各ノードに非連続でバランスの取れた要素単位の乗算タスクを割り当てるために、入力行列をスパarsityに配慮した形で再構成する。
• ノード間での負荷分散を保証するとともに通信量を最小限に抑える決定的データ分散戦略を採用する。
• 各ノードは割り当てられた行列要素に対して局所的乗算を実行し、必要な部分結果のみをO(log n)ビットのメッセージで通信する。
• 非対称なスパarsityをサポートしており、一方の入力行列がスパースであっても良好な性能を発揮する。
• 冗長な計算と通信を最小限に抑えるために、半環演算の構造を活用する。
• 冗長なデータ転送を回避し、各非ゼロ要素が各ノードに対して正確に1つの乗算タスクに寄与するようにすることで、通信効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 スパarsityと帯域幅制限を活用することで、Congested Cliqueモデルにおけるスパース行列積をより効率的に実行できるか？
• RQ2 非連続でバランスの取れたタスク割り当ては、全対全モデルにおける負荷分散と通信低減にどのように寄与するか？
• RQ3 一方の入力行列がスパースである場合でも、提案手法が既存のアルゴリズムを上回るか？
• RQ4 このアプローチは、3-および4サイクルカウントや全ペアの最短路問題といったグラフアルゴリズムをどの程度高速化できるか？
• RQ5 この手法は、Congested Cliqueを越えた他の計算モデルへ一般化可能か？

主な発見

• 入力行列の非ゼロ要素がo(n²)未塔の場合、本アルゴリズムはスパース行列積におけるラウンド複雑性を向上させ、従来手法を上回る。
• 一方の行列がスパースであっても、本手法は効率性を維持し、2より大きなスパース行列のべき乗の計算を効率的に行える。
• 行列を再構成することで非連続でバランスの取れたタスクをノードに割り当てることで、通信コストを顕著に低減する。
• スパース行列演算を活用することで、非密グラフにおける3-および4サイクルカウントと全ペアの最短路の計算を高速化できる。
• 決定的でスパarsityに配慮したデータ分散により、Congested Cliqueモデルにおける負荷分散が保証され、冗長な通信が最小限に抑えられる。