[論文レビュー] To Push or To Pull: On Reducing Communication and Synchronization in Graph Computations

Maciej Besta, Michał Podstawski+3 more|arXiv (Cornell University)|Oct 30, 2020

Graph Theory and Algorithms参考文献 56被引用数 9

ひとこと要約

この論文は、グラフ計算におけるプッシュ・プル二項対立を調査し、共有状態への更新のプッシュとプライベート状態への更新のプルというデータ伝搬戦略を比較することで、通信コストと同期コストを最小限に抑える。11のアルゴリズムを複数のモデルとグラフで分析した結果、パフォーマンス、収束速度、複雑さのトレードオフが明らかになり、共有メモリおよび分散システムにおけるグラフ処理を高速化する汎用的最適化戦略が提示された。

ABSTRACT

We reduce the cost of communication and synchronization in graph processing by analyzing the fastest way to process graphs: pushing the updates to a shared state or pulling the updates to a private state.We investigate the applicability of this push-pull dichotomy to various algorithms and its impact on complexity, performance, and the amount of used locks, atomics, and reads/writes. We consider 11 graph algorithms, 3 programming models, 2 graph abstractions, and various families of graphs. The conducted analysis illustrates surprising differences between push and pull variants of different algorithms in performance, speed of convergence, and code complexity; the insights are backed up by performance data from hardware counters.We use these findings to illustrate which variant is faster for each algorithm and to develop generic strategies that enable even higher speedups. Our insights can be used to accelerate graph processing engines or libraries on both massively-parallel shared-memory machines as well as distributed-memory systems.

研究の動機と目的

• グラフ計算におけるプッシュ戦略とプル戦略のパフォーマンスと同期のトレードオフを理解すること。
• さまざまなグラフアルゴリズムにおいて、どちらの戦略—プッシュかプルか—がより優れたパフォーマンス、収束速度、およびロックの低減を達成するかを特定すること。
• グラフ処理エンジンにおける通信と同期のオーバーヘッドを低減する汎用的最適化戦略を開発すること。
• ハードウェアカウンタデータを用いて、プッシュ対プルがアトミック操作、読み取り、書き込みといった低レベル演算に与える影響を評価すること。
• 共有メモリおよび分散メモリシステムにおけるグラフ処理の最適化に役立つ実用的知見を提供すること。

提案手法

• 3つのプログラミングモデルと2つのグラフ抽象化を用いて、11のグラフアルゴリズムをプッシュ・プルのバリエーションで比較分析した。
• ハードウェアパフォーマンスカウンタを用いて、パフォーマンス、収束速度、および低レベル演算（読み取り、書き込み、アトミック操作、ロック）を測定した。
• 共有メモリおよび分散メモリ実行モデルを評価し、戦略のポータビリティとスケーラビリティを検証した。
• プッシュ対プルパターンに対する感受性に基づいてアルゴリズムを分類し、パフォーマンスに影響を与える構造的特徴を同定した。
• アルゴリズム固有のパターンを同定することで、片方の戦略が他より優位である要因を特定し、汎用的最適化戦略を導出した。
• 多様なグラフファミリーを対象とした実騴的評価により、発見を検証し、知見を一般化した。

実験結果

リサーチクエスチョン

• RQ1 グラフ処理において、プッシュとプルのどちらの戦略が通信と同期のオーバーヘッドを低く抑えるか？
• RQ2 さまざまなグラフアルゴリズムにおいて、プッシュとプルのバリエーションは収束速度とパフォーマンスでどのように異なるか？
• RQ3 プッシュ対プルが、アトミック操作、読み取り、書き込みといった低レベル演算に与える影響は何か？
• RQ4 どのグラフアルゴリズムの特徴が、プッシュかプルのどちらが効率的であるかを決定するか？
• RQ5 プッシュ・プル分析から、グラフ処理パフォーマンスを向上させるための汎用的最適化戦略を導出できるか？

主な発見

• 同じアルゴリズムのプッシュとプルのバリエーションは、グラフ構造やアクセスパターンに応じて顕著なパフォーマンス差を示し、一部のアルゴリズムはプッシュに、他のアルゴリズムはプルに有利である。
• 更新頻度が高く、ファンインが小さいアルゴリズムではプッシュ戦略が同期オーバーヘッドを低減するが、スパarsなまたは不規則なグラフではプル戦略が通信量を最小化する。
• ハードウェアカウンタデータは、特にPageRankとSSSPにおいて、プッシュのバリエーションがアトミック操作とメモリ競合を低減することを確認した。
• SSSPやBetweenness Centralityのようなアルゴリズムでは、プルのバリエーションが冗長な更新を減らすため、収束速度が優れていることが多かった。
• コードの複雑さは異なり、プルのバリエーションは一般的に可読性が高く、並列化が容易である一方、プッシュのバリエーションは共有状態の管理に注意が必要である。
• プッシュ・プル分析から導出した汎用的最適化戦略は、共有メモリおよび分散システムの両方でグラフ処理エンジンのパフォーマンスに顕著な高速化をもたらした。