[論文レビュー] Graph connectivity in log-diameter steps using label propagation.

Paul Burkhardt|arXiv (Cornell University)|Aug 20, 2018

Distributed systems and fault tolerance被引用数 5

ひとこと要約

本稿では、ポ인터・チェイジングを用いず、PRAM、Stream、MapReduceモデルにおいて、グラフの連結性をO(log D)ステップで達成する決定的ラベル伝播フレームワークを提示する。これは、最速のPRAMアルゴリズムの効率に匹敵する最初の手法であり、シンプルでスケーラブルであり、分散およびストリーミングシステムに適している。

ABSTRACT

The fastest deterministic algorithms for connected components take logarithmic time and perform superlinear work on a PRAM. These algorithms require pointer-chasing operations and are limited to shared-memory systems. Another popular method is `leader contraction' where non-leader vertices are contracted to adjacent leaders. The challenge is to select a constant fraction of leaders that are adjacent to a constant fraction of non-leaders with high probability. Instead we investigate whether simple label propagation can be as efficient as the fastest known algorithms for graph connectivity. Label propagation exchanges representative labels within a component. This is attractive for other models because it is deterministic and does not rely on pointer-chasing, but it is inherently difficult to complete in a sublinear number of steps. We are able to solve the problems with label propagation for graph connectivity. We introduce a simple framework for deterministic graph connectivity in log-diameter steps using label propagation that is easily translated to other computational models. We present new algorithms in PRAM, Stream, and MapReduce. Given a simple, undirected graph $G=(V,E)$ with $n=|V|$ vertices, $m=|E|$ edges, and $D$ diameter, all our algorithms complete in $O(\log D)$ steps without pointer operations. We give the first label propagation algorithms that are competitive with the fastest PRAM algorithms, achieving $O(\log D)$ time and $O((m+n)\log D)$ work with $O(m+n)$ processors. Our main contribution is in Stream and MapReduce models. We give an efficient Stream-Sort algorithm that takes $O(\log D)$ passes and $O(\log n)$ memory, and a MapReduce algorithm taking $O(\log D)$ rounds and $O((m+n)\log D)$ communication overall. These are the first $O(\log D)$-step graph connectivity algorithms in Stream and MapReduce models that are also deterministic and simple to implement.

研究の動機と目的

• 複雑なポインタ・チェイジング操作に依存する既存のPRAMアルゴリズムの代替として、決定的かつポインタフリーな手法を提供すること。
• ラベル伝播がサブラインアーなステップ数で完了するという根本的な難しさを克服するため、効率的なラベル収束を実現する新しいフレームワークを導入すること。
• 従来の決定的解法が遅いか複雑であったストリーミングおよび分散モデル（StreamおよびMapReduce）において、効率的なグラフ連結性を実現すること。
• 最速の既知のPRAMアルゴリズムと同等の作業効率を達成しながら、複数のモデル間でシンプルさと移植性を維持すること。

提案手法

• 連結成分内での成分代表ラベルの交換を決定的に実行するラベル伝播フレームワークを導入すること。
• O(log D)ステップで成分を効率的に伝播させる階層的ラベリング戦略を用いること。
• エッジをパスごとに処理するStream-Sortアルゴリズムを設計し、プロセッサ1つあたりO(log n)のメモリを維持し、O(log D)パスで完了させること。
• O(log D)ラウンドで完了し、合計通信量がO((m+n)log D)であるMapReduceアルゴリズムを開発し、ラベル伝播を用いて成分をマージすること。
• ローカルなラベル交換とラベル合意による成分収縮に依存することで、ポインタ・チェイジングを排除すること。
• 任意の直径Dのグラフに対して、O(log D)ステップ以内にラベルが代表値に収束することを保証することで、正しさと停止性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 ラベル伝播を、グラフ連結性の分野で最も効率の良い既知のPRAMアルゴリズムと同等の性能にまで高めることは可能か？
• RQ2 ポインタ・チェイジング操作を一切用いず、O(log D)ステップで完了する決定的ラベル伝播アルゴリズムを設計することは可能か？
• RQ3 ラベル伝播フレームワークを、最小限のメモリと通信量でストリーミングおよびMapReduceモデルで効率的に動作させるように適応可能か？
• RQ4 分散およびストリーミング環境において、ラベル伝播が正しい連結性を達成するために必要な最小のパス数またはラウンド数は何か？
• RQ5 ラベル伝播を、異なる計算モデルにおいてシンプルかつスケーラブルに保ちながら、理論的効率を維持できるようにすることは可能か？

主な発見

• 提案されたフレームワークは、PRAM上でO(log D)の時間計算量とO((m+n)log D)の作業量、O(m+n)のプロセッサを用い、最良の既知の決定的PRAMアルゴリズムと同等の性能を達成する。
• ストリーミング環境における最初の決定的O(log D)-パスのStream-Sortアルゴリズムが提示され、プロセッサ1つあたりO(log n)のメモリのみを要する。
• O(log D)ラウンドで完了し、合計通信量がO((m+n)log D)であるMapReduceアルゴリズムが開発され、このモデルにおいて最初のこのような決定的アルゴリズムである。
• フレームワークはポインタ・チェイジング操作を排除しており、従来の手法よりも分散およびストリーミングシステムに適している。
• すべてのアルゴリズムは決定的であり、実装がシンプルで、複雑なデータ構造や確率的仮定を避ける。
• 本手法は、ラベル伝播が複数のモデルにおいて効率的かつスケーラブルに動作できることを示しており、最先端のアルゴリズムの性能を凌駕する可能性を示している。