[论文解读] GYM: A Multiround Join Algorithm In MapReduce

Foto Afrati, Manas Joglekar+3 more|arXiv (Cornell University)|Oct 15, 2014

Complexity and Algorithms in Graphs参考文献 38被引用 27

一句话总结

该论文提出了 GYM，一种用于 MapReduce 的多轮分布式连接算法，将 Yannakakis 算法推广至广义超树分解（GHD）上。通过利用查询的宽度和交集宽度结构，GYM 在高概率下实现最优通信成本——在 O(n) 轮内为 O(n(INw + OUT)²/M)，在 O(log n) 轮内为 O(n(IN·max(w,3iw) + OUT)²/M)，从而在大规模分布式系统中实现高效等值连接处理，通信量最小且轮次复杂度可扩展。

ABSTRACT

Multiround algorithms are now commonly used in distributed data processing systems, yet the extent to which algorithms can benefit from running more rounds is not well understood. This paper answers this question for a spectrum of rounds for the problem of computing the equijoin of $n$ relations. Specifically, given any query $Q$ with width $\w$, {\em intersection width} $\iw$, input size $\mathrm{IN}$, output size $\mathrm{OUT}$, and a cluster of machines with $M$ memory available per machine, we show that: (1) $Q$ can be computed in $O(n)$ rounds with $O(n\frac{(\mathrm{IN}^{\w} + \mathrm{OUT})^2}{M})$ communication cost. (2) $Q$ can be computed in $O(\log(n))$ rounds with $O(n\frac{(\mathrm{IN}^{\max(\w, 3\iw)} + \mathrm{OUT})^2}{M})$ communication cost. \end{itemize} Intersection width is a new notion of queries and generalized hypertree decompositions (GHDs) of queries we introduce to capture how connected the adjacent cyclic components of the GHDs are. We achieve our first result by introducing a distributed and generalized version of Yannakakis's algorithm, called GYM. GYM takes as input any GHD of $Q$ with width $\w$ and depth $d$, and computes $Q$ in $O(d + \log(n))$ rounds and $O(n\frac{(\mathrm{IN}^{\w} + \mathrm{OUT})^2}{M})$ communication cost. We achieve our second result by showing how to construct GHDs of $Q$ with width $\max(\w, 3\iw)$ and depth $O(\log(n))$. We describe another technique to construct GHDs with longer widths and shorter depths, demonstrating a spectrum of tradeoffs one can make between communication and the number of rounds.

研究动机与目标

• 为解决单轮分布式连接算法在复杂查询（如链式连接）中通信成本过高导致的低效问题。
• 探究增加计算轮次数是否能够降低分布式连接处理中的通信成本。
• 设计一种通用的分布式连接算法，利用查询的结构特性——特别是 GHD 的宽度与交集宽度——以平衡通信成本与轮次复杂度。
• 构建在深度（轮次数）与宽度（通信成本）之间具有可调权衡的 GHD，以适应不同集群配置下的可调性能。

提出的方法

• GYM 将 Yannakakis 算法推广至使用任意广义超树分解（GHD）的分布式多轮执行环境。
• 算法以自底向上的方式在多轮中处理 GHD 树，将中间结果保留在机器上，并通过数据分片最小化通信量。
• 引入交集宽度作为新的结构度量，用于捕捉 GHD 中相邻组件之间的连通性，从而实现更紧致的通信界。
• 提出 Log-GTA 和 C-GTA 两种 GHD 构造算法：Log-GTA 将深度降低至 O(log n)，同时宽度增长受限（最大为 max(w, 3iw)）；C-GTA 则通过牺牲宽度的指数级增长，实现常数深度的 GHD。
• 通过假设每台机器的内存 M = Ω(IN¹/ϵ) 的概率模型分析通信成本，并提供高概率保证。
• 该框架支持包含自连接的完整等值连接，假设输入无倾斜，主要关注通信效率与轮次效率作为成本指标。

实验结果

研究问题

• RQ1 与单轮方法相比，多轮算法是否能显著降低分布式系统中等值连接的通信成本？
• RQ2 轮次数如何影响分布式等值连接评估的通信成本？
• RQ3 查询的哪些结构特性——特别是其 GHD 的宽度与交集宽度——可被用于优化通信与轮次复杂度？
• RQ4 能否设计出暴露深度（轮数）与宽度（通信量）之间可调权衡的 GHD 构造算法？
• RQ5 在多轮模型中，能否通过 Yannakakis 算法的简单变体实现有界宽度等值连接的 NC 复杂度？

主要发现

• GYM 以 O(n) 轮完成任意包含 n 个关系、输入大小为 IN、输出大小为 OUT、宽度为 w 的等值连接查询 Q 的计算，通信成本为 O(n(INw + OUT)²/M)，且具有高概率。
• 通过使用宽度为 max(w, 3iw)、深度为 O(log n) 的 GHD，GYM 将轮次数减少至 O(log n)，同时将通信成本增加至 O(n(IN·max(w,3iw) + OUT)²/M)。
• 交集宽度 iw 是一种新度量，用于捕捉 GHD 中相邻组件之间的连通性，从而实现更紧致的通信界。
• Log-GTA 构建的 GHD 深度为 O(log n)，宽度不超过 max(w, 3iw)，支持具有有界通信开销的 O(log n) 轮执行。
• C-GTA 在 i 次迭代后可实现深度为常数的 GHD，宽度不超过 2^i·max(w, 3iw)，从而在深度与宽度之间提供进一步的权衡。
• 使用深度为对数的 GHD 在 PRAM 上模拟 GYM 表明，所有有界宽度的等值连接均可在 O(log n) 时间内、使用多项式数量处理器完成，因此属于 NC 复杂度类。