[论文解读] It's all a matter of degree: Using degree information to optimize multiway joins

Manas Joglekar, Christopher Ré|arXiv (Cornell University)|Aug 5, 2015

Advanced Database Systems and Queries参考文献 6被引用 4

一句话总结

本文提出度均匀化（degree-uniformization），一种预处理技术，通过按属性值度数对关系进行划分，以优化多路等值连接。利用度信息，作者实现了更紧致的输出大小界（相比AGM最多提升95倍）、改进指数的亚二次时间连接算法，以及在MapReduce模型中达到最优通信复杂度——所有这些均仅依赖线性时间的度统计信息。

ABSTRACT

We optimize multiway equijoins on relational tables using degree information. We give a new bound that uses degree information to more tightly bound the maximum output size of a query. On real data, our bound on the number of triangles in a social network can be up to $95$ times tighter than existing worst case bounds. We show that using only a constant amount of degree information, we are able to obtain join algorithms with a running time that has a smaller exponent than existing algorithms--{\em for any database instance}. We also show that this degree information can be obtained in nearly linear time, which yields asymptotically faster algorithms in the serial setting and lower communication algorithms in the MapReduce setting. In the serial setting, the data complexity of join processing can be expressed as a function $O(\IN^x + \OUT)$ in terms of input size $\IN$ and output size $\OUT$ in which $x$ depends on the query. An upper bound for $x$ is given by fractional hypertreewidth. We are interested in situations in which we can get algorithms for which $x$ is strictly smaller than the fractional hypertreewidth. We say that a join can be processed in subquadratic time if $x < 2$. Building on the AYZ algorithm for processing cycle joins in quadratic time, for a restricted class of joins which we call $1$-series-parallel graphs, we obtain a complete decision procedure for identifying subquadratic solvability (subject to the $3$-SUM problem requiring quadratic time). Our $3$-SUM based quadratic lower bound is tight, making it the only known tight bound for joins that does not require any assumption about the matrix multiplication exponent $ω$. We also give a MapReduce algorithm that meets our improved communication bound and handles essentially optimal parallelism.

研究动机与目标

• 通过引入度统计信息，填补现有最坏情况最优连接算法在运行时间和通信复杂度方面的空白。
• 利用度信息，为多路等值连接的最大输出大小提供更紧致的界，尤其适用于社交网络等数据倾斜场景。
• 设计数据复杂度指数更优的连接算法，实现特定查询类别的亚二次时间复杂度。
• 通过基于度的负载均衡，实现在MapReduce模型中最优的并行性与通信效率。
• 提供基于3-SUM猜想的子二次可解性判定过程，首次给出不依赖矩阵乘法指数假设的紧致界。

提出的方法

• 提出度均匀化：使用参数 $ L $，根据属性值的度数将每个关系划分为基于度的桶，将元组按其属性值的度数分组。
• 将原始多路连接拆分为对应分区上的更小、独立的连接，降低数据倾斜，支持更紧致的分析。
• 利用度信息推导新的输出大小界，其紧致程度优于AGM界——尤其在属性度数较低或差异显著时效果更佳。
• 利用度均匀化后的分区设计顺序连接算法，其数据复杂度指数小于基于分数超树宽的界。
• 设计MapReduce算法，通过基于度的哈希与分区实现负载均衡，达到最优通信复杂度。
• 建立基于3-SUM的紧致下界，证明1-系列-并联连接的子二次可解性，且不依赖 $ heta $-猜想或矩阵乘法指数假设。

实验结果

研究问题

• RQ1 能否利用度信息，推导出多路等值连接输出大小的更紧致上界，优于现有最坏情况界（如AGM）？
• RQ2 基于度的预处理能否使连接算法的数据复杂度指数小于基于分数超树宽的算法？
• RQ3 仅使用度统计信息，能否在不进行完整数据采样的前提下，实现多路连接在MapReduce中的最优通信复杂度？
• RQ4 多路连接子二次可解性的精确边界是什么？能否在不假设矩阵乘法指数的前提下进行刻画？
• RQ5 度均匀化能否同时提升串行与并行性能，同时保持近线性预处理时间？

主要发现

• 所提出的基于度的界将社交网络中三角形数量的估计值相比AGM界减少了最多95倍，即使在稀疏网络中也保持更紧致的界。
• 对于真实社交网络（如LiveJournal）中的三角形连接，新界相比AGM紧致95倍；若Facebook中最大度 ≤ 5000，则紧致程度至少为450倍。
• 在3-SUM猜想下，通过利用度信息将数据复杂度指数降低至分数超树宽以下，实现了1-系列-并联连接的亚二次时间处理。
• 基于3-SUM的连接处理下界是紧致的，且不依赖矩阵乘法指数 $ heta $ 的假设，是该领域首个此类紧致下界。
• MapReduce算法通过基于度的负载均衡与分区策略，实现了最优通信复杂度，并支持近乎最优的并行性。
• 收集度信息的预处理步骤运行时间接近线性，可高效集成至串行与并行连接流水线中。