[論文レビュー] Worst-Case Optimal Algorithms for Parallel Query Processing

Paul Beame, Paraschos Koutris+1 more|arXiv (Cornell University)|Apr 7, 2016

Complexity and Algorithms in Graphs参考文献 16被引用数 28

ひとこと要約

この論文は、マスサイズ並列計算（MPC）モデルにおける並列クエリ処理の最悪ケース最適アルゴリズムを提示し、最適な通信負荷を達成するために、エッジ準パッキング数と呼ばれる新しいクエリパラメータを導入する。単一および複数ラウンドのアルゴリズムについて、タイトな上界と下界を確立し、外部記憶モデルへの新しい接続を示して、結合クエリにおけるI/O最適アルゴリズムを導出する。近年の結果を回復・拡張し、多対数因子の範囲で成立する。

ABSTRACT

In this paper, we study the communication complexity for the problem of computing a conjunctive query on a large database in a parallel setting with $p$ servers. In contrast to previous work, where upper and lower bounds on the communication were specified for particular structures of data (either data without skew, or data with specific types of skew), in this work we focus on worst-case analysis of the communication cost. The goal is to find worst-case optimal parallel algorithms, similar to the work of [18] for sequential algorithms. We first show that for a single round we can obtain an optimal worst-case algorithm. The optimal load for a conjunctive query $q$ when all relations have size equal to $M$ is $O(M/p^{1/ψ^*})$, where $ψ^*$ is a new query-related quantity called the edge quasi-packing number, which is different from both the edge packing number and edge cover number of the query hypergraph. For multiple rounds, we present algorithms that are optimal for several classes of queries. Finally, we show a surprising connection to the external memory model, which allows us to translate parallel algorithms to external memory algorithms. This technique allows us to recover (within a polylogarithmic factor) several recent results on the I/O complexity for computing join queries, and also obtain optimal algorithms for other classes of queries.

研究の動機と目的

• データスケイニングに依存しない、MPCモデルにおける結合クエリの最悪ケース最適並列アルゴリズムの開発。
• 最適通信負荷を特徴付ける新しいクエリパラメータ、エッジ準パッキング数を同定すること。
• 複数ラウンドへのフレームワークの拡張と、広範なクエリクラスにおける最適性の確立。
• MPCモデルと外部記憶モデルを橋渡しし、並列アルゴリズムをI/O効率の良いアルゴリズムに変換可能にする。
• 提案された変換を用いて、最近の結合クエリのI/O複雑度結果を回復・一般化すること。

提案手法

• 通信負荷の最悪ケースを決定するクエリ選択性の新たな指標として、エッジ準パッキング数 ψ* を導入する。
• 歪みのある属性値に基づく割り当てを可能にする、パラメータ化されたHyperCubeアルゴリズムを提案する。
• ψ* を用いたタイトな上界と下界の証明により、単一ラウンドでの最適性を確立する。
• MPCアルゴリズムを外部記憶アルゴリズムに変換するためのシミュレーション技術を適用し、ラウンド複雑度と負荷を保持する。
• 変換を用いて、三角形およびラインクエリのI/O最適アルゴリズムを導出し、既知の境界と多対数因子の範囲で一致する。
• 合計I/Oコストを制限するための3段階のI/Oコスト解析（初期化、主記憶内処理、外部記憶への書き込み）を採用する。

実験結果

リサーチクエスチョン

• RQ1 自己結合を含まない完全な結合クエリを計算する単一ラウンドMPCアルゴリズムの最悪ケース通信負荷は何か？
• RQ2 エッジ準パッキング数 ψ* は、エッジパッキング数やエッジカバー数といった既知のクエリパラメータとどのように関係するか？
• RQ3 多様なクエリクラスにわたる複数ラウンドにおいて、最悪ケース最適アルゴリズムを設計可能か？
• RQ4 MPCアルゴリズムを体系的にI/O効率の良い外部記憶アルゴリズムに変換する方法は何か？
• RQ5 導出されたI/Oコストは、結合クエリの既存結果と比較して、どの程度一致または改善されるか？

主な発見

• 単一ラウンドでは、すべての関係がサイズ M である結合クエリ q に対して、最適な負荷は O(M / p^{1/ψ*}) である。ここで ψ* はエッジ準パッキング数である。
• エッジ準パッキング数 ψ* は、エッジパッキング数およびエッジカバー数とは異なり、最悪ケース負荷をよりタイトに特徴付ける。
• 複数ラウンドでは、三角形クエリやラインクエリを含む複数のクエリクラスに対して最適アルゴリズムを提示する。
• MPCから外部記憶への変換により、既知の最適境界の多対数因子の範囲内でI/Oコストが得られ、例えば三角形クエリでは Õ(m^{3/2}/(BW^{1/2})) となる。
• この方法により、ラインクエリ L_k について、先行研究のI/O複雑度を回復し、Õ((m/W)^{⌈(k+1)/2⌉} · W/B) のI/Oコストを達成する。
• MPCと外部記憶モデルの間の接続により、逆方向のシミュレーションが今後の有望な研究方向性として浮上する。