[论文解读] Model-based Approximate Query Processing

Moritz Kulessa, Alejandro Molina+3 more|arXiv (Cornell University)|Nov 15, 2018

Advanced Database Systems and Queries参考文献 18被引用 10

一句话总结

本文提出基于模型的近似查询处理（Model-based Approximate Query Processing, AQP），这是一种新颖的方法，利用生成模型——特别是求和-乘积网络（Sum-Product Networks, SPNs）——为交互式数据探索提供快速、准确的查询估算。与依赖预采样数据或在线采样的经典AQP方法不同，这些方法在处理稀有子群体时表现不佳，而基于模型的AQP在训练阶段学习整个数据库的联合概率分布，从而能够对任意临时查询（包括稀有群体上的查询）提供高质量的近似结果，即使在大型数据集上也能实现亚秒级响应时间。

ABSTRACT

Interactive visualizations are arguably the most important tool to explore, understand and convey facts about data. In the past years, the database community has been working on different techniques for Approximate Query Processing (AQP) that aim to deliver an approximate query result given a fixed time bound to support interactive visualizations better. However, classical AQP approaches suffer from various problems that limit the applicability to support the ad-hoc exploration of a new data set: (1) Classical AQP approaches that perform online sampling can support ad-hoc exploration queries but yield low quality if executed over rare subpopulations. (2) Classical AQP approaches that rely on offline sampling can use some form of biased sampling to mitigate these problems but require a priori knowledge of the workload, which is often not realistic if users want to explore a new database. In this paper, we present a new approach to AQP called Model-based AQP that leverages generative models learned over the complete database to answer SQL queries at interactive speeds. Different from classical AQP approaches, generative models allow us to compute responses to ad-hoc queries and deliver high-quality estimates also over rare subpopulations at the same time. In our experiments with real and synthetic data sets, we show that Model-based AQP can in many scenarios return more accurate results in a shorter runtime. Furthermore, we think that our techniques of using generative models presented in this paper can not only be used for AQP in databases but also has applications for other database problems including Query Optimization as well as Data Cleaning.

研究动机与目标

• 为解决经典近似查询处理（AQP）在新数据库上支持临时、交互式数据探索的局限性。
• 克服在线采样在稀有子群体上表现不佳以及离线采样技术工作负载依赖性的问题。
• 在无需事先了解查询工作负载的情况下，实现高质量、低延迟的查询近似。
• 探索将生成模型（特别是求和-乘积网络SPNs）作为可扩展且准确的AQP基础的可行性。
• 在保持准确性和性能的同时，将AQP能力扩展至复杂查询，包括连接（joins）和嵌套子查询。

提出的方法

• 在预处理阶段利用求和-乘积网络（SPNs）学习整个数据库的联合概率分布。
• 利用学习到的SPN直接计算简单聚合查询（如COUNT、AVG）的概率估计，无需采样。
• 对于复杂查询，从SPN实时生成分层样本，以确保稀有子群体的覆盖。
• 通过从模型学习到的分布中采样，支持用户自定义函数和复杂SQL结构。
• 在查询时将各表的独立SPN组合起来，以近似连接和嵌套查询的结果。
• 采用置信区间估计方法，量化查询近似结果中的不确定性。

实验结果

研究问题

• RQ1 生成模型（如SPNs）是否能为临时查询提供比经典AQP方法更准确且更快的查询近似？
• RQ2 基于模型的AQP是否能在传统在线采样失败的稀有子群体查询上仍保持高准确性？
• RQ3 与传统AQP技术相比，基于模型的AQP的运行时间如何随数据规模扩展？
• RQ4 SPNs能否有效用于近似复杂查询，包括连接和嵌套子查询？
• RQ5 SPN模型的质量如何影响AQP结果的准确性？混合模型能否进一步提升性能？

主要发现

• 基于模型的AQP在真实和合成数据集上均表现出比经典AQP方法更高的准确性，尤其在稀有子群体查询上优势明显。
• 基于模型的AQP的运行时间主要取决于SPN的大小，而非数据大小，因此即使在大型数据库上也能实现亚秒级响应时间。
• 该方法成功实现了实时分层采样，确保在传统在线采样失败的稀有子群体上也能获得可靠估计。
• SPNs支持简单聚合的直接概率估计以及复杂查询的采样生成，可覆盖广泛的SQL操作。
• 该方法支持置信区间估计，使用户能够评估近似结果的可靠性。
• 初步结果表明，混合SPNs（结合模型与原始数据）可通过保留强属性相关性，进一步提升准确性。