[論文レビュー] GYM: A Multiround Join Algorithm In MapReduce

Foto Afrati, Manas Joglekar+3 more|arXiv (Cornell University)|Oct 15, 2014

Complexity and Algorithms in Graphs参考文献 38被引用数 27

ひとこと要約

本稿では、一般化ハイパーサイクル分解（GHD）を用いて一般化ヤナカキスのアルゴリズムを拡張し、マルチラウンド分散ジョイン処理を実現するMapReduce向けの分散ジョインアルゴリズムGYMを提案する。幅とインターセクション幅というクエリ構造の特性を活用することで、高確率で最適な通信コスト—O(n(INw + OUT)²/M)をO(n)ラウンドで、O(n(IN·max(w,3iw) + OUT)²/M)をO(log n)ラウンドで達成し、通信量を最小限に抑えつつラウンド複雑性をスケーラブルに保つ。

ABSTRACT

Multiround algorithms are now commonly used in distributed data processing systems, yet the extent to which algorithms can benefit from running more rounds is not well understood. This paper answers this question for a spectrum of rounds for the problem of computing the equijoin of $n$ relations. Specifically, given any query $Q$ with width $\w$, {\em intersection width} $\iw$, input size $\mathrm{IN}$, output size $\mathrm{OUT}$, and a cluster of machines with $M$ memory available per machine, we show that: (1) $Q$ can be computed in $O(n)$ rounds with $O(n\frac{(\mathrm{IN}^{\w} + \mathrm{OUT})^2}{M})$ communication cost. (2) $Q$ can be computed in $O(\log(n))$ rounds with $O(n\frac{(\mathrm{IN}^{\max(\w, 3\iw)} + \mathrm{OUT})^2}{M})$ communication cost. \end{itemize} Intersection width is a new notion of queries and generalized hypertree decompositions (GHDs) of queries we introduce to capture how connected the adjacent cyclic components of the GHDs are. We achieve our first result by introducing a distributed and generalized version of Yannakakis's algorithm, called GYM. GYM takes as input any GHD of $Q$ with width $\w$ and depth $d$, and computes $Q$ in $O(d + \log(n))$ rounds and $O(n\frac{(\mathrm{IN}^{\w} + \mathrm{OUT})^2}{M})$ communication cost. We achieve our second result by showing how to construct GHDs of $Q$ with width $\max(\w, 3\iw)$ and depth $O(\log(n))$. We describe another technique to construct GHDs with longer widths and shorter depths, demonstrating a spectrum of tradeoffs one can make between communication and the number of rounds.

研究の動機と目的

• 複雑なクエリ（例：チェーンジョイン）に対して通信コストが著しく高くなる一ラウンド分散ジョインアルゴリズムの非効率性を是正すること。
• 計算ラウンド数を増やすことで分散ジョイン処理における通信コストを低減できるかを調査すること。
• クエリの構造的特性（特にGHDの幅とインターセクション幅）を活用し、通信コストとラウンド複雑性のバランスを取る汎用的な分散ジョインアルゴリズムの開発。
• クラスタ構成に応じたチューニングが可能な性能を実現するため、深さ（ラウンド数）と幅（通信コスト）のトレードオフを実現するGHDの構築。

提案手法

• GYMは、クエリの任意の一般化ハイパーサイクル分解（GHD）を用いて、ヤナカキスのアルゴリズムを分散的・マルチラウンド実行に一般化する。
• アルゴリズムは複数のラウンドにわたりGHD木を下位から上位の順に処理し、マシン上に中間結果を保持するとともに、データシャーディングにより通信量を最小限に抑える。
• インターセクション幅という新しい構造的指標を導入し、GHDにおける隣接コンポONENTの接続性を捉えることで、よりタイトな通信コストの上限を達成する。
• Log-GTAとC-GTAは、GHD構築アルゴリズムとして提案される：Log-GTAは深さをO(log n)に低減させつつ幅の増加を制限（max(w, 3iw)まで）、C-GTAは指数的幅増加の代償を支払っても定数深さのGHDを実現する。
• 通信コストは、各マシンにM = Ω(IN¹/ϵ)のメモリがあると仮定した確率的モデルを用いて分析し、高確率保証を適用する。
• フレームワークは自己ジョインを含む完全な等価ジョインをサポートし、入力の偏りはないと仮定し、通信コストとラウンド効率を主なコスト指標とする。

実験結果

リサーチクエスチョン

• RQ1 マルチラウンドアルゴリズムは、一ラウンド手法と比較して、分散システムにおける等価ジョイン処理において通信コストを著しく低減できるか？
• RQ2 ラウンド数の増加が、分散等価ジョイン評価における通信コストにどのように影響するか？
• RQ3 クエリの構造的特性（特にそのGHDの幅とインターセクション幅）は、通信コストとラウンド複雑性の最適化にどのように利用できるか？
• RQ4 深さ（ラウンド数）と幅（通信コスト）のトレードオフを露わにできるようなGHD構築アルゴリズムを設計できるか？
• RQ5 単純なヤナカキスのアルゴリズムの変種をマルチラウンドモデルで用いることで、有界幅の等価ジョインに対してNC複雑性を達成できるか？

主な発見

• GYMは、n個の関係、入力サイズIN、出力サイズOUT、幅wをもつ任意の等価ジョインクエリQを、高確率でO(n)ラウンドで処理し、通信コストをO(n(INw + OUT)²/M)に抑える。
• 幅max(w, 3iw)、深さO(log n)のGHDを用いることで、GYMはラウンド数をO(log n)に削減するが、通信コストはO(n(IN·max(w,3iw) + OUT)²/M)に増加する。
• インターセクション幅iwは、GHDにおける隣接コンポONENTの接続性を捉える新規指標であり、よりタイトな通信コストの上限を可能にする。
• Log-GTAは深さO(log n)、幅最大max(w, 3iw)のGHDを構築し、通信コストの増加を制限したO(log n)ラウンド実行を可能にする。
• C-GTAは、i回の反復後に幅最大2^i·max(w, 3iw)の定数深さGHDを構築可能であり、深さと幅のさらなるトレードオフを実現する。
• Log深さGHDを用いてPRAM上でGYMをシミュレートすると、すべての有界幅等価ジョインがO(log n)時間で多項式プロセッサで評価可能であり、NCクラスに属することが示唆される。