[论文解读] BayesCard: A Unified Bayesian Framework for Cardinality Estimation.

Zi‐Niu Wu, Amir Shaikhha|arXiv (Cornell University)|Dec 29, 2020

Bayesian Modeling and Causal Inference参考文献 37被引用 6

一句话总结

BayesCard 引入了一种统一的贝叶斯框架，利用概率编程语言（PPLs）构建紧凑、可解释的贝叶斯网络（BNs），用于数据库中的基数估计。该方法在模型大小上比深度学习模型小多达 1,000 倍，训练成本降低 10 至 100 倍，同时在查询优化器中保持稳定且可解释的性能，实现了最先进的准确度。

ABSTRACT

Cardinality estimation is one of the fundamental problems in database management systems and it is an essential component in query optimizers. Traditional machine-learning-based approaches use probabilistic models such as Bayesian Networks (BNs) to learn joint distributions on data. Recent research advocates for using deep unsupervised learning and achieves state-of-the-art performance in estimating the cardinality of selection and join queries. Yet the lack of scalability, stability and interpretability of such deep learning models, makes them unsuitable for real-world databases. Recent advances in probabilistic programming languages (PPLs) allow for a declarative and efficient specification of probabilistic models such as BNs, and achieve state-of-the-art accuracy in various machine learning tasks. In this paper, we present BayesCard, the first framework incorporating the techniques behind PPLs for building BNs along with relational extensions that can accurately estimate the cardinality of selection and join queries in database systems with model sizes that are up to three orders of magnitude smaller than deep models'. Furthermore, the more stable performance and better interpretation of BNs make them viable options for practical query optimizers. Our experimental results on several single-relation and multi-relation databases indicate that BayesCard with a reasonable estimation time has a better estimation accuracy than deep learning models, and has from one to two orders of magnitude less training cost nevertheless.

研究动机与目标

• 解决深度学习模型在基数估计中的局限性，包括可扩展性差、不稳定以及缺乏可解释性。
• 提升数据库查询优化器中选择查询和连接查询的基数估计准确度与效率。
• 利用概率编程语言（PPLs）实现贝叶斯网络（BNs）的声明式、高效且可扩展的构建。
• 在保持或提升估计准确度的同时，减少模型大小和训练成本，相较于当前最先进的深度学习方法。
• 通过增强稳定性和可解释性，实现概率模型在真实世界数据库系统中的实际部署。

提出的方法

• 利用概率编程语言（PPLs）声明式地指定用于建模联合数据分布的贝叶斯网络（BNs）。
• 对贝叶斯网络应用关系扩展，以支持跨多个关系的基数估计，包括连接查询。
• 利用 PPL 原生的高效推理与学习算法，将贝叶斯网络扩展至真实数据库规模。
• 通过数据驱动学习优化模型结构与参数，同时保持可解释性。
• 提出一个统一框架，支持单表与多表基数估计。
• 通过利用结构化先验和 PPL 支持的紧凑参数化，减少模型大小，使模型比深度学习替代方案小多达三个数量级。

实验结果

研究问题

• RQ1 使用概率编程语言构建的贝叶斯框架是否能在基数估计中实现比深度学习模型更高的准确度？
• RQ2 贝叶斯网络在保持或提升估计准确度的同时，能在多大程度上减少模型大小和训练成本？
• RQ3 在实际数据库查询优化中，贝叶斯网络的可解释性与稳定性与深度学习模型相比如何？
• RQ4 对贝叶斯网络的关系扩展是否能有效建模多表之间的复杂连接基数？
• RQ5 在使用基于 PPL 的贝叶斯网络与深度学习模型时，模型大小、训练成本与估计准确度之间的权衡如何？

主要发现

• BayesCard 在单表与多表数据库上均实现了最先进的估计准确度，优于深度学习模型。
• 与深度学习模型相比，该框架将模型大小减少了多达三个数量级，实现了高效的部署。
• BayesCard 的训练成本比深度学习基线低 1 至 2 个数量级，训练效率更高。
• 该方法在多种数据分布下均表现出稳定性能，相比不稳定的深度学习模型更具鲁棒性。
• PPL 的使用使得模型紧凑且可解释，适合集成到真实世界的查询优化器中。
• BayesCard 在合理推理时间内提供高精度的基数估计，适用于在线查询优化。