[論文レビュー] TAPSpMV: Topology-Aware Parallel Sparse Matrix Vector Multiplication.

Amanda Bienz, William Gropp+1 more|arXiv (Cornell University)|Dec 23, 2016

Interconnection Networks and Systems被引用数 3

ひとこと要約

TAPSpMVは、各ノード上のメッセージを再編成することで、ノード間通信をより安価なノード内通信にシフトさせる、トポロジーに配慮した並列スパース行列-ベクトル乗算（SpMV）手法を提案する。ネットワークメッセージの数とサイズを最小限に抑えることで、通信オーバーヘッドを低減し、分散メモリシステムにおけるパフォーマンスを向上させる。

ABSTRACT

This paper introduces a method to reduce communication that is injected into the network during a sparse matrix-vector multiply by reorganizing messages on each node. This results in a reduction of the inter-node communication, replaced by less-costly intra-node communication, which reduces both the number and size of messages that are injected into the network.

研究の動機と目的

• 分散メモリシステムにおける並列スパース行列-ベクトル乗算（SpMV）におけるノード間通信コストを低減すること。
• SpMV計算中に発生する高量かつ高遅延のネットワーク通信が引き起こすパフォーマンスボトルネックを解消すること。
• ノード内通信を優先するメッセージ再編成により、スケーラビリティと効率性を向上させること。
• ノードレベルのトポロジー認識を活用して、ネットワークへのメッセージインジェクションを最適化すること。

提案手法

• 各コンピューティングノード上のメッセージを再編成し、ネットワークを横断するメッセージの数とサイズを最小限に抑えること。
• トポロジーに配慮したデータレイアウトを用いて、より高速なノード内通信で処理可能な通信パターンをグループ化すること。
• リモートメモリアクセスやネットワークトラフィックを低減するように、SpMV計算を再構成すること。
• 複数の小さなメッセージを1つにまとめるメッセージ集約戦略を適用し、ネットワークインジェクションオーバーヘッドを削減すること。
• 下位のネットワークトポロジーを尊重する通信パターンを設計し、競合を回避するとともに帯域幅の利用効率を向上させること。
• 負荷分散とスケーラビリティを維持するために、再編成ロジックをSpMVカーネルに統合すること。

実験結果

リサーチクエスチョン

• RQ1 並列SpMVにおけるノード間通信をどのように低減すればパフォーマンスが向上するか？
• RQ2 ノードレベルのトポロジー認識は、ネットワークメッセージインジェクションを最小限に抑えるために果たす役割は何か？
• RQ3 負荷分散を損なわずに、ノード内通信が高コストなノード間通信に置き換え可能か？
• RQ4 メッセージ再編成は、SpMVにおける全体の通信量と遅延にどのように影響するか？
• RQ5 実世界のスパース行列に対するトポロジーに配慮したメッセージスケジューリングのパフォーマンスへの影響は何か？

主な発見

• TAPSpMVは、各ノードでの通信パターンの再編成により、ネットワークにインジェクションされるメッセージ数を削減する。
• ノード間通信からノード内通信にトラフィックをシフトさせることで、合計通信量を低減する。
• ネットワークインジェクションを最小限に抑えることで、TAPSpMVは分散システムにおける遅延を低減し、スケーラビリティを向上させる。
• トポロジーに配慮した再編成により、利用可能な帯域幅の効率的利用が図られ、競合が低減する。
• TAPSpMVは、通信オーバーヘッドを顕著に低減する一方で、負荷分散を維持する。
• 不規則なスパarsityパターンを示す行列において、パフォーマンス向上が最も顕著に現れる。