[论文解读] ML-AQP: Query-Driven Approximate Query Processing based on Machine Learning

Fotis Savva, Christos‐Nikolaos Anagnostopoulos+1 more|arXiv (Cornell University)|Mar 14, 2020

Data Quality and Management被引用 6

一句话总结

ML-AQP 提出了一种轻量级、基于查询的机器学习系统，通过仅使用先前执行过的查询及其结果来预测近似聚合查询结果，避免了数据访问。该系统通过在向量化查询表示上训练紧凑模型，并提供预测区间以界定误差范围，实现了高达 5 个数量级的响应速度提升，同时保持较低的误差率。

ABSTRACT

As more and more organizations rely on data-driven decision making, large-scale analytics become increasingly important. However, an analyst is often stuck waiting for an exact result. As such, organizations turn to Cloud providers that have infrastructure for efficiently analyzing large quantities of data. But, with increasing costs, organizations have to optimize their usage. Having a cheap alternative that provides speed and efficiency will go a long way. Concretely, we offer a solution that can provide approximate answers to aggregate queries, relying on Machine Learning (ML), which is able to work alongside Cloud systems. Our developed lightweight ML-led system can be stored on an analyst's local machine or deployed as a service to instantly answer analytic queries, having low response times and monetary/computational costs and energy footprint. To accomplish this we leverage the knowledge obtained by previously answered queries and build ML models that can estimate the result of new queries in an efficient and inexpensive manner. The capabilities of our system are demonstrated using extensive evaluation with both real and synthetic datasets/workloads and well known benchmarks.

研究动机与目标

• 通过提供快速、近似的查询结果，解决云数据仓库中精确查询处理的高成本和高延迟问题。
• 通过将计算任务本地化，减少在探索性数据分析期间对昂贵云基础设施的依赖。
• 提供一种轻量级、低资源占用的系统，支持所有聚合函数，包括 MIN 和 MAX，而这些函数在现有 AQP 方法中往往处理不佳。
• 通过分位数回归提供误差边界，确保预测的可靠性，即使在数据或查询工作负载随时间变化的情况下也能保持。
• 在训练或推理过程中完全避免数据访问，使系统具备隐私保护特性且运行高效。

提出的方法

• 将查询转换为一种自定义的向量化表示，以捕捉其结构和过滤条件。
• 在历史查询-结果对上训练机器学习模型，以学习从查询模式到聚合结果的映射关系。
• 使用简单且可解释的模型（例如线性模型），以确保内存占用低且训练速度快。
• 通过分位数回归构建预测区间，为近似答案提供误差保证。
• 系统支持对数据和查询工作负载的增量更新，而无需从头开始重新训练。
• 该方法与 AF（聚合函数）无关，可支持任意聚合函数，包括 SUM、AVG、COUNT、MIN 和 MAX。

实验结果

研究问题

• RQ1 仅基于历史查询-结果对训练的机器学习系统，是否能在不访问底层数据的情况下，提供快速且准确的近似查询答案？
• RQ2 与现有 AQP 引擎相比，该系统的性能在速度、准确率和资源使用方面如何？
• RQ3 当数据或查询工作负载随时间变化时，系统能否保持准确性和低误差边界？
• RQ4 该系统在多样化聚合函数上的泛化能力如何，尤其是对采样-based AQP 难以处理的 MIN 和 MAX 函数？
• RQ5 与基于数据的机器学习 AQP 系统相比，该基于查询的方法在训练和推理开销方面有何差异？

主要发现

• 与精确处理相比，ML-AQP 在查询响应时间上实现了高达 5 个数量级的加速，且计算成本极低。
• 在 BK-Austin 数据集上，ML-AQP 的相对绝对误差（RAE）为 3.9%，略优于 NeuralCubes（3.88%），尽管使用了更简单的模型。
• 在 BK-NYC 数据集上，ML-AQP 的 RAE 为 3.6%，优于 NeuralCubes 的 4.25%，在相似条件下展现出更优的准确性。
• 由于采用轻量级、以查询为中心的方法，ML-AQP 的模型训练速度比 NeuralCubes 快 10 倍以上，即使在性能较弱的硬件上也是如此。
• 该系统支持所有聚合函数，包括 MIN 和 MAX，而这些函数在现有 AQP 技术中往往难以准确近似。
• 通过分位数回归生成的预测区间提供了可靠的误差边界，使用户能够评估近似结果的准确性。