[论文解读] Computing Join Queries with Functional Dependencies

Mahmoud Abo Khamis, Hung Q. Ngo+1 more|arXiv (Cornell University)|Apr 1, 2016

Advanced Graph Theory Research参考文献 23被引用 5

一句话总结

本文提出了一种新颖的算法，用于在函数依赖（FDs）条件下计算连接查询，其运行时间在GLVV界之内——最多存在一个多项式对数因子——因此当该界紧致时，该算法为最坏情况最优。该方法利用格理论，将变量子集替换为在函数依赖下的闭集，从而将基于多秩函数的界证明转化为可执行算法，并可处理函数依赖之外的度约束，如基数约束。

ABSTRACT

Recently, Gottlob, Lee, Valiant, and Valiant (GLVV) presented an output size bound for join queries with functional dependencies (FD), based on a linear program on polymatroids. GLVV bound strictly generalizes the bound of Atserias, Grohe and Marx (AGM) for queries with no FD, in which case there are known algorithms running within AGM bound and thus are worst-case optimal. A main result of this paper is an algorithm for computing join queries with FDs, running within GLVV bound up to a poly-log factor. In particular, our algorithm is worst-case optimal for any query where the GLVV bound is tight. As an unexpected by-product, our algorithm manages to solve a harder problem, where (some) input relations may have prescribed maximum degree bounds, of which both functional dependencies and cardinality bounds are special cases. We extend Gottlob et al. framework by replacing all variable subsets with the lattice of closed sets (under the given FDs). This gives us new insights into the structure of the worst-case bound and worst-case instances. While it is still open whether GLVV bound is tight in general, we show that it is tight on distributive lattices and some other simple lattices. Distributive lattices capture a strict superset of queries with no FD and with simple FDs. We also present two simpler algorithms which are also worst-case optimal on distributive lattices within a single-$\log$ factor, but they do not match GLVV bound on a general lattice. Our algorithms are designed based on a novel principle: we turn a proof of a polymatroid-based output size bound into an algorithm.

研究动机与目标

• 开发一种在函数依赖条件下最坏情况最优的连接查询算法，其中传统界不再适用。
• 将AGM和GLVV界扩展至处理函数依赖之外的度约束，如基数约束。
• 通过格理论结构统一处理函数依赖与度约束。
• 证明GLVV界在分配格及某些简单格上是紧致的。
• 设计一种通用算法，将理论界转化为实际高效的查询处理算法。

提出的方法

• 用给定函数依赖下的闭集格替代标准的变量子集格，以更精确地建模查询语义。
• 在多秩函数上建立线性规划，并将其扩展至闭集格，以推导最坏情况输出大小界。
• 设计一种新颖算法CSMA，通过递归规则应用，将多秩函数不等式的证明转化为查询执行策略。
• 引入对偶解框架，结合净流约束，以指导剪枝并确保递归执行过程中的正确性。
• 采用分支策略，使目标值实现乘法级减少，从而在递归深度上实现指数衰减。
• 通过基于对数度桶的划分和表大小平衡，处理度约束，以维持效率。

实验结果

研究问题

• RQ1 能否设计一种在函数依赖查询中运行时间在GLVV界内的连接查询算法？
• RQ2 GLVV界是否在AGM情形之外的某些格类上也是紧致的？
• RQ3 该算法是否不仅能处理函数依赖，还能处理输入关系上的任意度约束？
• RQ4 多秩函数不等式的证明能否系统性地转化为可工作的查询执行算法？
• RQ5 该算法相对于GLVV界的复杂度如何？在特定情况下，多项式对数因子能否被进一步减小？

主要发现

• 所提出的算法运行时间为O(N + (log N)^e * 2^OPT)，其中OPT为GLVV线性规划的最优值，实现了GLVV界（最多存在一个多项式对数因子）。
• 对于GLVV界为紧致的任意查询，该算法均为最坏情况最优，包括在分配格上的查询。
• 证明了GLVV界在分配格及某些其他简单格上是紧致的，扩展了已知紧致界的应用范围。
• 该算法的一个简化变体在分配格上实现了最坏情况最优性，仅存在单个对数因子偏差，但无法在一般格上匹配GLVV界。
• 该框架成功推广至处理具有指定最大度约束的输入关系，同时涵盖函数依赖和基数约束。
• 核心洞见——将多秩函数不等式证明转化为查询执行算法——为设计最坏情况最优查询计划提供了新范式。