[论文解读] Communication Steps for Parallel Query Processing

Paul Beame, Paraschos Koutris+1 more|arXiv (Cornell University)|Jun 25, 2013

Advanced Database Systems and Queries参考文献 24被引用 35

一句话总结

本文建立了大规模分布式系统中并行查询处理所需通信轮数的基本下界，表明查询超图的分数顶点覆盖数 τ* 决定了单轮计算的最小复制率 ε = 1 − 1/τ*。对于多轮计算，本文证明了轮数与复制之间的权衡关系，表明传递闭包无法在 O(1) 轮内完成计算，并为树状查询和连通分量查询提供了匹配的上界。

ABSTRACT

We consider the problem of computing a relational query $q$ on a large input database of size $n$, using a large number $p$ of servers. The computation is performed in rounds, and each server can receive only $O(n/p^{1-\varepsilon})$ bits of data, where $\varepsilon \in [0,1]$ is a parameter that controls replication. We examine how many global communication steps are needed to compute $q$. We establish both lower and upper bounds, in two settings. For a single round of communication, we give lower bounds in the strongest possible model, where arbitrary bits may be exchanged; we show that any algorithm requires $\varepsilon \geq 1-1/τ^*$, where $τ^*$ is the fractional vertex cover of the hypergraph of $q$. We also give an algorithm that matches the lower bound for a specific class of databases. For multiple rounds of communication, we present lower bounds in a model where routing decisions for a tuple are tuple-based. We show that for the class of tree-like queries there exists a tradeoff between the number of rounds and the space exponent $\varepsilon$. The lower bounds for multiple rounds are the first of their kind. Our results also imply that transitive closure cannot be computed in O(1) rounds of communication.

研究动机与目标

• 理解在数据分布在多个服务器的大规模系统中，并行查询处理的通信复杂度。
• 在带宽和复制约束下，识别计算关系查询所需的最少通信轮数。
• 为单轮和多轮通信模型建立紧致的下界，特别是针对树状查询和连通分量查询。
• 刻画通信轮数与控制数据复制的空问指数 ε 之间的权衡关系。
• 证明在给定模型下，某些查询（如传递闭包）无法在常数轮内完成计算。

提出的方法

• 采用一种通信模型，其中每个服务器接收 O(n/p^{1−ε}) 比特，ε 控制复制程度，通信以全局轮次进行。
• 在多轮通信中应用基于元组的路由模型，其中路由决策依赖于单个元组。
• 引入一种新颖的 (ε,r)-计划框架，用于分析多轮算法，并通过查询分解推导下界。
• 将查询超图的分数顶点覆盖数 τ* 作为关键参数，刻画单轮计算的最小 ε。
• 构造一组图和查询（L_k），用于模拟连通分量计算，并通过组合分析推导轮数下界。
• 使用定理 4.3 限制任意 r 轮算法报告的输出元组数量，表明当 r 过小时，其值为 o(1)，从而推导出所需轮数的下界。

实验结果

研究问题

• RQ1 在每台服务器带宽受限的并行系统中，计算关系查询所需的最少通信轮数是多少？
• RQ2 查询超图的分数顶点覆盖数 τ* 与单轮通信模型中复制率 ε 之间有何关系？
• RQ3 在基于元组的通信模型下，传递闭包能否在 O(1) 轮内完成计算？这对查询复杂度有何影响？
• RQ4 对于树状查询，通信轮数与复制率 ε 之间存在何种权衡？
• RQ5 在现实系统约束下，多轮通信复杂度是否存在紧致的上下界？

主要发现

• 对于单轮计算，任何算法均需满足 ε ≥ 1 − 1/τ*，其中 τ* 为查询超图的分数顶点覆盖数，且该下界对一类查询是紧致的。
• 对于多轮计算，强下界表明 r 轮至少需要复制率 r · log 2 / (1 − ε) ≈ log(rad(q))，建立了根本性的权衡关系。
• 在基于元组的通信模型下，传递闭包无法在 O(1) 轮内完成计算，因为任何此类算法仅能报告 o(1) 比例的必需输出元组。
• 本文构造了一类查询 L_k，用于模拟图上的连通分量计算，从而通过组合分析推导出轮数下界。
• 分析表明，任何满足 r < ⌈log_{k_ε} k⌉ − 1 的 r 轮算法仅能报告 o(1) 比例的输出元组，这意味着在 p 台服务器上计算连通分量至少需要 Ω(log p) 轮。
• 本文为树状查询和连通分量提供了匹配的上界，表明所推导的下界对自然算法而言几乎紧致。