[論文レビュー] Skew in Parallel Query Processing

Paul Beame, Paraschos Koutris+1 more|arXiv (Cornell University)|Jan 9, 2014

Graph Theory and Algorithms参考文献 12被引用数 11

ひとこと要約

この論文は、データスプライシングを伴う単一ラウンド並列システムにおける結合的クエリの計算のためのタイトな通信複雑度の境界を確立する。クエリの分数量的エッジパッキングと、重いヘッダーに対する残差クエリのフレームワークを導入し、多項式対数 $ p $ 要因を除いて一致する上界と下界を証明する。これは、スプライシングを伴うデータに一般化された先行の結果を提供し、スプライシングに配慮した並列クエリ処理のための最初の形式的下界を提供する。

ABSTRACT

We study the problem of computing a conjunctive query q in parallel, using p of servers, on a large database. We consider algorithms with one round of communication, and study the complexity of the communication. We are especially interested in the case where the data is skewed, which is a major challenge for scalable parallel query processing. We establish a tight connection between the fractional edge packings of the query and the amount of communication, in two cases. First, in the case when the only statistics on the database are the cardinalities of the input relations, and the data is skew-free, we provide matching upper and lower bounds (up to a poly log p factor) expressed in terms of fractional edge packings of the query q. Second, in the case when the relations are skewed and the heavy hitters and their frequencies are known, we provide upper and lower bounds (up to a poly log p factor) expressed in terms of packings of residual queries obtained by specializing the query to a heavy hitter. All our lower bounds are expressed in the strongest form, as number of bits needed to be communicated between processors with unlimited computational power. Our results generalizes some prior results on uniform databases (where each relation is a matching) [4], and other lower bounds for the MapReduce model [1].

研究の動機と目的

• データスプライシングによる負荷の不均衡を引き起こす重いヘッダーの影響を是正する。
• 単一ラウンド並列モデルにおける結合的クエリの計算の通信コストに対する形式的下界を確立する。
• 均一なデータベースに関する先行研究を、既知の重いヘッダーとその頻度を伴うより現実的なスプライシングデータのケースに拡張する。
• 分数量的エッジパッキングと残差クエリパッキングを用いて、通信複雑度の一致する上界と下界（多項式対数 $ p $ 要因を除く）を提供する。
• MapReduce や MPC モデルに関する先行研究を、スプライシングデータを扱えるように一般化し、より強い理論的保証を提供する。

提案手法

• 著者たちは、$ p $ 台のサーバーを持つ単一ラウンド通信モデルを用い、入力関係のカーディナリティと重いヘッダーの識別子および頻度を事前に知っていると仮定する。
• 計算能力に制限がないものと仮定し、サーバー間で送信されるビット数に基づいて通信コストを定義する。
• スプライシングなしのデータに対しては、クエリのハイパーグラフ表現における分数量的エッジパッキングを用いて通信コストを上限づける。
• スプライシングありのデータに対しては、元のクエリを各重いヘッダーに特化させた残差クエリの分数量的エッジパッキングを用いてコストを上限づける。
• 上界を構築するためのベースラインとして HyperCube アルゴリズムを用い、分数量的エッジパッキングによる最適化を経て次元を最適化する。
• 分数量的カバーと通信複雑度の双対性を用いて理論的境界を導出する。最適化は分数量的パッキングの上でのものである。

実験結果

リサーチクエスチョン

• RQ1 データがスプライシングされている場合、1ラウンドで結合的クエリを計算するために必要な通信量の最小値は何か？
• RQ2 重いヘッダーは並列クエリ処理の通信複雑度にどのように影響を及ぼし、その影響を定量的にモデル化できるか？
• RQ3 クエリまたはその残差形の分数量的エッジパッキングは、スプライシングの存在下で通信コストのタイトな境界を提供できるか？
• RQ4 スプライシングなしのケースにおける境界は、既知の重いヘッダーを伴うスプライシングデータベースにどのように一般化できるか？
• RQ5 MapReduce や MPC といった既存のモデルは、スプライシング下での通信コストをどの程度正しく捉えておらず、その限界は何か？また、どのように拡張できるか？

主な発見

• スプライシングなしのデータベースに対しては、通信コストはクエリのハイパーグラフの分数量的エッジパッキングによってタイトに境界づけられる（多項式対数 $ p $ 要因を除く）。
• スプライシングありのデータベースに対しては、通信コストは元のクエリを各重いヘッダーに特化させた残差クエリの分数量的エッジパッキングによってタイトに境界づけられる（多項式対数 $ p $ 要因を除く）。
• 境界は上界かつ下界であり、最も強い形で証明されている：無制限の計算能力を持つサーバー間で通信されなければならないビット数として。
• 結果は、均一なデータベースに関する先行研究を一般化し、MapReduce モデルからの既知の下界をスプライシングデータにまで拡張する。
• HyperCube アルゴリズムは、次元が最適な分数量的エッジパッキングに従って選ばれた場合、上界に達する。
• MapReduce スタイルのモデルにおけるリプリケーションレートは、関係のサイズが異なっていても、分数量的エッジパッキングと関係サイズの関数によって下限づけられる。