[论文解读] Approximate Query Processing using Deep Generative Models

Saravanan Thirumuruganathan, Shohedul Hasan+2 more|arXiv (Cornell University)|Mar 24, 2019

Advanced Database Systems and Queries参考文献 45被引用 14

一句话总结

该论文提出了一种用于近似查询处理（AQP）的深度生成建模方法，通过在数据上训练轻量级变分自编码器（VAE）来学习其潜在分布，从而实现在客户端快速采样，支持交互式数据探索。该方法通过按需生成合成样本，在低延迟下实现高精度，利用拒绝采样缓解模型偏差，并通过模型集成进一步提升精度，在大规模数据集上展现出优于以往方法的可扩展性和实时响应能力。

ABSTRACT

Data is generated at an unprecedented rate surpassing our ability to analyze them. The database community has pioneered many novel techniques for Approximate Query Processing (AQP) that could give approximate results in a fraction of time needed for computing exact results. In this work, we explore the usage of deep learning (DL) for answering aggregate queries specifically for interactive applications such as data exploration and visualization. We use deep generative models, an unsupervised learning based approach, to learn the data distribution faithfully such that aggregate queries could be answered approximately by generating samples from the learned model. The model is often compact - few hundred KBs - so that arbitrary AQP queries could be answered on the client side without contacting the database server. Our other contributions include identifying model bias and minimizing it through a rejection sampling based approach and an algorithm to build model ensembles for AQP for improved accuracy. Our extensive experiments show that our proposed approach can provide answers with high accuracy and low latency.

研究动机与目标

• 通过在客户端使用紧凑的深度生成模型，将AQP计算迁移至客户端，实现低延迟、交互式的数据探索。
• 通过基于拒绝采样的技术缓解用于AQP的深度生成模型中的模型偏差。
• 通过动态规划构建最优模型集成，对分区数据进行建模，以提升查询精度。
• 在大规模真实数据集上展示该方法的可扩展性与效率，实现在无需服务器访问的情况下按需采样。
• 提供一种实用且轻量的替代方案，取代传统的基于采样的AQP方法，支持高保真度的任意聚合查询。

提出的方法

• 在完整数据集上训练变分自编码器（VAE），以学习逼近真实数据分布的低维潜在表示。
• 从训练好的VAE生成合成样本，以回答聚合查询（如AVG、SUM、COUNT），而无需访问原始数据。
• 应用拒绝采样，通过过滤掉与真实数据分布偏差较大的低似然样本，减少模型偏差。
• 使用动态规划识别数据的最优分区，以训练多个VAE，形成提升整体估计精度的集成模型。
• 在PyTorch中实现向量化采样，实现在千分之一秒内快速、可扩展地生成大规模合成样本集。
• 将模型集成到AQP流水线中，支持任意子集属性的任意、临时聚合查询，延迟极低。

实验结果

研究问题

• RQ1 深度生成模型（如VAE）能否有效用于近似复杂数据分布，以支持数据探索中的交互式AQP？
• RQ2 如何最小化深度生成模型中的模型偏差，以确保AQP中聚合估计的准确性？
• RQ3 针对数据分区与多个生成模型的训练，最优策略是什么，以提升AQP的精度？
• RQ4 所提出的基于模型的AQP方法能否在大规模数据集上实现可扩展性，并在客户端提供低延迟响应？
• RQ5 与现有基于采样和物化摘要的AQP技术相比，该方法在精度与效率方面的表现如何？

主要发现

• 所提出的基于VAE的AQP方法在聚合查询上实现了高精度，估计误差显著低于基线采样方法。
• 拒绝采样有效减少了模型偏差，提升了合成样本的真实性，从而获得更准确的聚合估计。
• 通过动态规划实现最优分区并训练的模型集成，在各类查询类型中均实现了可测量的精度提升。
• 从训练好的VAE模型采样极为高效，即使在大规模样本集（如100万元组）下，生成时间也仅需几百毫秒，支持实时响应。
• VAE模型体积紧凑（仅几百KB），适合部署在客户端设备上，实现完全离线的AQP，无需与服务器交互。
• 该方法在大规模数据集上表现出高效的可扩展性，单张GPU训练仅需几分钟，远快于以往方法（如MSPN）所需数小时。