[论文解读] Join Size Bounds using Lp-Norms on Degree Sequences

Mahmoud Abo Khamis, Vasileios Nakos+2 more|arXiv (Cornell University)|Jun 24, 2023

Data Management and Algorithms被引用 4

一句话总结

本文通过利用度序列的 ℓₚ-范数，提出了连接查询输出大小的新上界，显著收紧了现有上界——尤其在无环查询中——方法结合信息论与线性规划。该方法推广了先前的 AGM 与 PANDA 上界，利用预计算的连接属性 ℓₚ-范数，提供更紧致且可证明最优的估计，同时具备匹配的查询评估算法，且在查询规模下为指数时间可计算。

ABSTRACT

Estimating the output size of a query is a fundamental yet longstanding problem in database query processing. Traditional cardinality estimators used by database systems can routinely underestimate the true output size by orders of magnitude, which leads to significant system performance penalty. Recently, upper bounds have been proposed that are based on information inequalities and incorporate sizes and max-degrees from input relations, yet they their main benefit is limited to cyclic queries, because they degenerate to rather trivial formulas on acyclic queries. We introduce a significant extension of the upper bounds, by incorporating $\ell_p$-norms of the degree sequences of join attributes. Our bounds are significantly lower than previously known bounds, even when applied to acyclic queries. These bounds are also based on information theory, they come with a matching query evaluation algorithm, are computable in exponential time in the query size, and are provably tight when all degrees are "simple".

研究动机与目标

• 解决数据库查询优化中持续存在的选择性估计问题，传统估计器常严重低估输出大小。
• 克服现有理论上界（如 AGM 与 PANDA）在无环查询上退化为平凡公式的局限性。
• 为循环与无环查询提供统一适用的、更紧致的非平凡上界。
• 引入一类新统计量——连接属性度序列的 ℓₚ-范数，以推广选择性与最大度信息，提升估计精度。
• 提供一个可证明紧致的信息论上界，并对应一个在查询规模下为指数时间可计算的查询评估算法。

提出的方法

• 通过连接属性度序列的 ℓₚ-范数，构建连接输出大小的上界，其中度序列为属性频率的有序列表。
• 利用信息不等式与线性规划推导最优上界，解为满足熵约束的最小值。
• 推广先前上界：ℓ₁-范数对应关系大小，ℓ∞-范数对应最大度，中间 ℓₚ-范数（如 ℓ₂、ℓ₃）提供更紧致的上界。
• 定义 log-统计量 bᵢ 为度序列 ℓₚ-范数的缩放对数，使其可转化为类似熵的约束。
• 构建闭集的格结构以表示属性集的熵值，并从拟模函数中推导 log-统计量。
• 通过在拟模域上的线性规划应用该上界，当所有度满足‘简单’条件时，保证上界紧致。

实验结果

研究问题

• RQ1 能否利用度序列的 ℓₚ-范数，推导出比现有方法更紧致的连接查询输出大小上界？
• RQ2 在无环查询中，ℓₚ-范数基上界与 AGM 及 PANDA 上界相比，其紧致性如何？
• RQ3 所提出的上界是否可证明最优，并在预计算统计量下于实际场景中可计算？
• RQ4 使用中间 ℓₚ-范数（如 ℓ₂、ℓ₃）是否能显著优于仅依赖 ℓ₁ 与 ℓ∞ 的估计？
• RQ5 所提上界与属性集熵之间有何关系？该关系如何实现更紧致的估计？

主要发现

• 所提出的 ℓₚ-范数基上界在所有情况下均严格优于先前上界，即使在 AGM 与 PANDA 上界退化为平凡公式的无环查询中亦然。
• 对于三角形查询，使用 ℓ₂-与 ℓ₃-范数可得到新上界，如 |Q| ≤ (||deg_R(Y|X)||₂² · ||deg_S(Z|Y)||₂² · ||deg_T(X|Z)||₂²)^{1/3}，其值可显著小于 PANDA 上界。
• 当所有度均为‘简单’时，该上界可证明紧致，即度序列满足特定正则性条件。
• 该方法推广了 AGM 与 PANDA 上界：ℓ₁-范数给出 AGM 上界，ℓ∞-范数给出 PANDA 上界，中间 ℓₚ-范数构成一连续的更紧致上界族。
• 实验评估表明，通过多个 ℓₚ-范数（如 ℓ₁、ℓ₂、ℓ₃、ℓ∞）取最小值，可获得最紧致的估计，具体取决于数据分布。
• 该上界并非对所有拟模函数都紧致，但实际对数大小与上界之比最多为 35/36，表明其具有极强的渐近紧致性。