[论文解读] Leapfrog Triejoin: a worst-case optimal join algorithm

Todd L. Veldhuizen|arXiv (Cornell University)|Oct 1, 2012

Data Management and Algorithms参考文献 7被引用 41

一句话总结

本文提出了一种面向变量的连接算法 Leapfrog Triejoin，其最坏情况下的性能达到渐近最优（对数因子内），在某些查询类别上优于先前的 NPRR 算法。该文证明了该算法在更细粒度的复杂度类（如受投影基数约束的类）中亦为最优，并提供了一种更简洁、实用的替代方案，其正确性与复杂度证明更为简明。

ABSTRACT

Recent years have seen exciting developments in join algorithms. In 2008, Atserias, Grohe and Marx (henceforth AGM) proved a tight bound on the maximum result size of a full conjunctive query, given constraints on the input relation sizes. In 2012, Ngo, Porat, R{é} and Rudra (henceforth NPRR) devised a join algorithm with worst-case running time proportional to the AGM bound. Our commercial Datalog system LogicBlox employs a novel join algorithm, \emph{leapfrog triejoin}, which compared conspicuously well to the NPRR algorithm in preliminary benchmarks. This spurred us to analyze the complexity of leapfrog triejoin. In this paper we establish that leapfrog triejoin is also worst-case optimal, up to a log factor, in the sense of NPRR. We improve on the results of NPRR by proving that leapfrog triejoin achieves worst-case optimality for finer-grained classes of database instances, such as those defined by constraints on projection cardinalities. We show that NPRR is \emph{not} worst-case optimal for such classes, giving a counterexample where leapfrog triejoin runs in $O(n \log n)$ time, compared to $Θ(n^{1.375})$ time for NPRR. On a practical note, leapfrog triejoin can be implemented using conventional data structures such as B-trees, and extends naturally to $\exists_1$ queries. We believe our algorithm offers a useful addition to the existing toolbox of join algorithms, being easy to absorb, simple to implement, and having a concise optimality proof.

研究动机与目标

• 分析并证明 Leapfrog Triejoin 这一新型连接算法在 LogicBlox 数据库系统中的最坏情况最优性。
• 证明 Leapfrog Triejoin 在更细粒度的数据库实例类别（如投影基数有界者）中，其渐近性能优于 NPRR。
• 提供一个简洁、易教的最优性证明，其复杂度低于 NPRR 的分析，从而提升理论与实践的可及性。
• 将该算法扩展至处理复杂 Datalog 特性（如投影、否定和算术原语），同时保持性能保证。

提出的方法

• Leapfrog Triejoin 按照指定顺序在变量上执行回溯搜索，逐个绑定变量以枚举满足的赋值。
• 它使用基于已排序关系的 tries 迭代器，高效地遍历和连接属性，利用跳跃技术跳过无关值。
• 该算法避免中间结果的物化，通过单次遍历同时连接所有关系。
• 通过在变量绑定处附加惰性操作，支持投影、否定和算术等扩展，仅在需要时触发检查或计算。
• 复杂度分析以分数边覆盖界（Q*）为基准，证明其最坏情况运行时间为 O(Q* log n)。
• 一种使用键排序优化的变体消除了 log n 因子，实现 O(Q*) 时间复杂度。

实验结果

研究问题

• RQ1 Leapfrog Triejoin 是否在与 NPRR 相同的查询类别中达到最坏情况最优？其在更细粒度的复杂度类别中是否表现更优？
• RQ2 能否设计一种更简洁、实用的连接算法，在实现上更易实现与理解的同时，仍能匹配 NPRR 的理论最优性？
• RQ3 Leapfrog Triejoin 在投影基数有界的实例中，其渐近复杂度是否优于 NPRR？
• RQ4 该算法能否在不牺牲最优性的情况下，扩展以处理如否定、投影和算术等复杂 Datalog 特性？

主要发现

• Leapfrog Triejoin 实现了最坏情况运行时间 O(Q* log n)，其中 Q* 为分数边覆盖界，证明其在对数因子内为最坏情况最优。
• 对于投影基数有界的实例，Leapfrog Triejoin 的运行时间为 O(n log n)，而 NPRR 为 Θ(n^1.375)，展现出显著的渐近性能提升。
• 该算法在比 NPRR 更广泛的实例类别中为最优，包括受投影大小约束的实例，而 NPRR 在此类实例中无法实现最优。
• 通过键排序优化的 Leapfrog Triejoin 变体消除了 log n 因子，实现 O(Q*) 时间复杂度，与 NPRR 的理论界完全一致。
• 该算法使用标准数据结构（如 B 树）实现简单，且可自然扩展至 ∃₁ 查询与复杂 Datalog 特性。