[論文レビュー] Almost Optimal Distributed Algorithms for Large-Scale Graph Problems.

Gopal Pandurangan, Peter Robinson+1 more|arXiv (Cornell University)|Mar 9, 2015

Complexity and Algorithms in Graphs参考文献 29被引用数 3

ひとこと要約

この論文は、k台のマシンで構成されるモデルにおいて、グラフの連結性をほぼ最適なランダム化分散アルゴリズムで解決する手法を提示している。線形グラフスケッチ法やその他の技術を用いて、$\tilde{O}(n/k^2)$ラウンドの実行時間に達成している。この手法は、先行研究の境界を改善し、多項対数因子を除いて最適であり、最小全域木、最小カット、グラフ検証問題への拡張もすべて$\tilde{O}(n/k^2)$ラウンドで実行可能である。

ABSTRACT

Motivated by the increasing need to understand the algorithmic foundations of distributed large-scale graph computations, we study a number of fundamental graph problems in a message-passing model for distributed computing where $k \geq 2$ machines jointly perform computations on graphs with $n$ nodes (typically, $n \gg k$). The graph is assumed to be randomly partitioned among the $k$ machines, a common implementation in many real-world systems. The communication is point-to-point, and the goal is to minimize the time complexity, i.e., the number of communication rounds of the computation. Our main result is an (almost) optimal distributed randomized algorithm for graph connectivity. Our algorithm runs in $ ilde{O}(n/k^2)$ rounds ($ ilde{O}$ notation hides a $ ext{polylog}(n)$ factor and an additive $ ext{polylog}(n)$ term). This improves over the best previously known bound of $ ilde{O}(n/k)$ [Klauck et al., SODA 2015], and is optimal (up to a polylogarithmic factor) in view of the existing lower bound of $ ilde{\Omega}(n/k^2)$. Our improved algorithm uses a bunch of techniques, including linear graph sketching, which for the first time is applied in a non-trivial way in distributed computing. We then present fast randomized algorithms for computing minimum spanning trees, (approximate) min-cuts, and for many graph verification problems. All these algorithms take $ ilde{O}(n/k^2)$ rounds, and are optimal up to polylogarithmic factors. We also show an almost matching lower bound of $ ilde{\Omega}(n/k^2)$ for many graph verification problems.

研究の動機と目的

• 複数のマシンにまたがる大規模グラフ計算における、効率的な分散アルゴリズムの需要の増大に応えること。
• グラフがk台のマシンにランダムに分割されるメッセージパッシングモデルにおいて、通信ラウンド数を最小限に抑えること。
• 連結性、MST、最小カット、検証といった基本的なグラフ問題における、ほぼ最適な時間計算量を達成すること。
• kマシンモデルにおける分散グラフ問題のタイトな上界と下界を確立すること。

提案手法

• 分散計算において、非自明な方法で初めて線形グラフスケッチを活用し、効率的な通信を可能にする。
• スケッチと分散集約を活用して、グラフの連結性に対して$\tilde{O}(n/k^2)$ラウンドを達成するランダム化アルゴリズムを設計する。
• スケッチに基づくアプローチを拡張し、同じラウンド複雑性内で最小全域木と近似最小カットを計算する。
• ランダム化された検証技術を用いて、$\tilde{O}(n/k^2)$ラウンドで効率的にグラフの性質を検証する。
• 還元法と下界技術を適用し、多くの検証問題に対して$\tilde{\Omega}(n/k^2)$がほぼ一致する下界であることを示す。

実験結果

リサーチクエスチョン

• RQ1 kマシン分散モデルにおいて、ランダムなグラフ分割が行われる条件下で、グラフの連結性は$\tilde{O}(n/k^2)$ラウンドで解けるか？
• RQ2 連結性のための従来の$\tilde{O}(n/k)$の境界を著しく改善するには、どのような技術が必要か？
• RQ3 線形グラフスケッチは、グラフ問題の効率的な分散アルゴリズムの設計に、どの程度活用可能か？
• RQ4 MST、最小カット、グラフ検証のラウンド複雑性は、多項対数因子を除いて$\tilde{O}(n/k^2)$が最適か？

主な発見

• 提案されたグラフ連結性アルゴリズムは、$\tilde{O}(n/k^2)$ラウンドで実行され、従来の$\tilde{O}(n/k)$の境界を改善している。
• アルゴリズムは多項対数因子を除いて最適であり、既存の$\tilde{\Omega}(n/k^2)$の下界と一致している。
• 最小全域木と近似最小カット問題は、同じスケッチベースのアプローチを用いて$\tilde{O}(n/k^2)$ラウンドで解決可能である。
• 連結性やカット検証を含むグラフ検証問題は、少なくとも$\tilde{\Omega}(n/k^2)$ラウンドを要することが示され、近似的にタイトな境界が確立された。