[論文レビュー] Communication Steps for Parallel Query Processing

Paul Beame, Paraschos Koutris+1 more|arXiv (Cornell University)|Jun 25, 2013

Advanced Database Systems and Queries参考文献 24被引用数 35

ひとこと要約

本稿は、大規模分散システムにおける並列クエリ処理に必要な通信ラウンド数の根本的な下界を確立し、クエリのハイパーグラフの分数バーテックスカバー数 τ* が、1ラウンド計算における最小再配信レート ε = 1 − 1/τ* を決定することを示している。複数ラウンドの場合、ラウンド数と再配信の間のトレードオフを証明し、トランジティブクロージャーは O(1) ラウンドでは計算できないことを示し、木型クエリおよび連結成分についても一致する上界を提供している。

ABSTRACT

We consider the problem of computing a relational query $q$ on a large input database of size $n$, using a large number $p$ of servers. The computation is performed in rounds, and each server can receive only $O(n/p^{1-\varepsilon})$ bits of data, where $\varepsilon \in [0,1]$ is a parameter that controls replication. We examine how many global communication steps are needed to compute $q$. We establish both lower and upper bounds, in two settings. For a single round of communication, we give lower bounds in the strongest possible model, where arbitrary bits may be exchanged; we show that any algorithm requires $\varepsilon \geq 1-1/τ^*$, where $τ^*$ is the fractional vertex cover of the hypergraph of $q$. We also give an algorithm that matches the lower bound for a specific class of databases. For multiple rounds of communication, we present lower bounds in a model where routing decisions for a tuple are tuple-based. We show that for the class of tree-like queries there exists a tradeoff between the number of rounds and the space exponent $\varepsilon$. The lower bounds for multiple rounds are the first of their kind. Our results also imply that transitive closure cannot be computed in O(1) rounds of communication.

研究の動機と目的

• データが多数のサーバーに分散されている大規模システムにおける並列クエリ処理の通信複雑性を理解すること。
• 帯域幅および再配信制約下で、関係的クエリを計算するために必要な最小通信ラウンド数を同定すること。
• 特に木型クエリおよび連結成分クエリに対して、1ラウンドおよび複数ラウンド通信モデルのタイトな下界を確立すること。
• 通信ラウンド数と、データ再配信を制御する空間指数 ε の間のトレードオフを特徴づけること。
• トランジティブクロージャーのような特定のクエリが、与えられたモデル下で定数ラウンドで計算できないことを示すこと。

提案手法

• 各サーバーが O(n/p^{1−ε}) ビットを受け取る通信モデルを用い、ε が再配信を制御する。通信はグローバルラウンドで行われる。
• 複数ラウンド通信にタプルベースのルーティングモデルを適用し、ルーティングの意思決定が個々のタプルに依存する。
• 複数ラウンドアルゴリズムの分析と下界の導出のため、新規の (ε,r)-プランフレームワークを導入。
• クエリのハイパーグラフの分数バーテックスカバー数 τ* を、1ラウンド計算における最小 ε を特徴づける主要パラメータとして用いる。
• 連結成分計算をシミュレートするためのグラフおよびクエリの族（L_k）を構築し、組合せ的解析によりラウンドの下界を導出する。
• 定理 4.3 を用いて、任意の r ラウンドアルゴリズムが報告する出力タプル数を束縛し、r が小さすぎると出力タプルの割合が o(1) になることを示し、必要なラウンド数の下界を示している。

実験結果

リサーチクエスチョン

• RQ1 制限されたサーバー単位帯域幅を持つ並列システムにおいて、関係的クエリを計算するために必要な最小通信ラウンド数は何か？
• RQ2 クエリのハイパーグラフの分数バーテックスカバー数 τ* は、1ラウンド通信モデルにおける再配信レート ε とどのように関係するか？
• RQ3 タプルベース通信モデル下で、トランジティブクロージャーは O(1) ラウンドで計算可能か？ その結果、クエリ複雑性にどのような意味があるか？
• RQ4 木型クエリにおいて、通信ラウンド数と再配信レート ε の間のトレードオフは何か？
• RQ5 現実的なシステム制約下で、並列クエリ処理における複数ラウンド通信複雑性に対して、タイトな下界と上界は存在するか？

主な発見

• 1ラウンド計算において、任意のアルゴリズムは ε ≥ 1 − 1/τ* を満たす必要があり、ここで τ* はクエリのハイパーグラフの分数バーテックスカバー数である。この下界は特定のクエリクラスに対してタイトである。
• 複数ラウンド計算において、強い下界が示され、r ラウンドでは再配信レートが少なくとも r · log 2 / (1 − ε) ≈ log(rad(q)) に達する必要があることが示され、根本的なトレードオフが確立された。
• タプルベース通信モデル下では、トランジティブクロージャーは O(1) ラウンドで計算できない。なぜなら、そのようなアルゴリズムは必要な出力タプルの o(1) 分数しか報告しないからである。
• 本稿は、グラフ上の連結成分をシミュレートするクエリ族 L_k を構築し、組合せ的解析によりラウンドの下界を導出できるようにしている。
• 解析により、r < ⌈log_{k_ε} k⌉ − 1 を満たす任意の r ラウンドアルゴリズムは、出力タプルの o(1) 分数しか報告しないことが示され、p サーバー上の連結成分の計算には少なくとも Ω(log p) ラウンドが必要であることが示唆された。
• 木型クエリおよび連結成分に対して、一致する上界が提供されており、導出された下界が自然なアルゴリズムにおいてほぼタイトであることが示された。