[论文解读] Heuristic and Cost-based Optimization for Diverse Provenance Tasks

Xing Niu, Raghav Kapoor+5 more|arXiv (Cornell University)|Apr 17, 2018

Scientific Computing and Data Management参考文献 14被引用 3

一句话总结

该论文提出了一种感知数据血缘的优化框架，结合启发式与基于成本的优化技术，显著提升了数据血缘密集型查询的性能。通过利用代数等价性及替代的仪器化策略，该框架在多种数据血缘任务中将执行时间减少了数个数量级。

ABSTRACT

A well-established technique for capturing database provenance as annotations on data is to instrument queries to propagate such annotations. However, even sophisticated query optimizers often fail to produce efficient execution plans for instrumented queries. We develop provenance-aware optimization techniques to address this problem. Specifically, we study algebraic equivalences targeted at instrumented queries and alternative ways of instrumenting queries for provenance capture. Furthermore, we present an extensible heuristic and cost-based optimization framework utilizing these optimizations. Our experiments confirm that these optimizations are highly effective, improving performance by several orders of magnitude for diverse provenance tasks.

研究动机与目标

• 解决数据库系统中因查询仪器化导致的数据血缘捕获性能下降问题。
• 开发代数等价性与替代的仪器化方法，以优化感知数据血缘的查询。
• 设计一个可扩展的优化框架，集成启发式与基于成本的优化技术，用于数据血缘任务。
• 在不损害数据血缘保真度或正确性的前提下，提升查询执行效率。
• 通过智能优化降低运行时开销，实现数据血缘系统的实际部署。

提出的方法

• 为仪器化查询提出定制的代数等价性，以支持在感知数据血缘的执行计划中进行优化。
• 引入替代的仪器化策略，在保持数据血缘语义的同时减少注释传播的开销。
• 设计一个基于成本的优化框架，利用统计信息与选择性估计来估算不同执行计划的成本。
• 实现一种自适应优化策略，在优化时间与计划质量之间取得平衡，确保其性能在最优策略的2倍以内。
• 使用基于区间的剪枝技术进行计划空间遍历，高效探索高质量的数据血缘查询计划。
• 利用数据血缘多项式语义与关系编码，将数据血缘注释作为查询代数的一部分进行建模。

实验结果

研究问题

• RQ1 如何识别并应用代数等价性于仪器化查询，以提升数据血缘查询的性能？
• RQ2 哪些替代的仪器化方法可以降低数据血缘传播的计算成本，同时不损失保真度？
• RQ3 如何将基于成本的优化扩展以有效处理感知数据血缘的查询计划？
• RQ4 在数据血缘查询优化中，优化时间与计划质量之间的权衡是什么？
• RQ5 自适应优化策略是否能实现接近最优的性能，同时将开销控制在可接受范围内？

主要发现

• 所提出的优化框架在多种数据血缘任务中，将查询性能提升了数个数量级。
• 自适应优化策略被证明是2-竞争的，确保总优化时间与执行时间之和在最优策略的2倍以内。
• 代数等价性与替代的仪器化方法显著降低了感知数据血缘查询执行的成本。
• 基于成本的优化框架能有效估算并比较计划成本，从而支持高质量执行计划的选择。
• 计划空间遍历算法通过基于区间的剪枝与动态使用上下界，高效探索了搜索空间中的高潜力区域。
• 实验评估证实，该框架在各类数据血缘工作负载中均实现了显著的性能提升。