[论文解读] Moment-Based Quantile Sketches for Efficient High Cardinality Aggregation Queries

Edward Gan, Jialin Ding+3 more|arXiv (Cornell University)|Mar 6, 2018

Data Management and Algorithms参考文献 70被引用 3

一句话总结

本文提出了 moments sketch，一种紧凑的分位数摘要算法，通过追踪样本矩和对数矩，实现在不足200字节内存下、合并时间低于50ns的快速且高精度的分位数估计。结合矩量法与最大熵原理，该方法实现分位数误差低于1%，在Druid中查询性能最高提升60倍，在MacroBase中提升7.9倍，优于现有摘要算法。

ABSTRACT

Interactive analytics increasingly involves querying for quantiles over sub-populations of high cardinality datasets. Data processing engines such as Druid and Spark use mergeable summaries to estimate quantiles, but summary merge times can be a bottleneck during aggregation. We show how a compact and efficiently mergeable quantile sketch can support aggregation workloads. This data structure, which we refer to as the moments sketch, operates with a small memory footprint (200 bytes) and computationally efficient (50ns) merges by tracking only a set of summary statistics, notably the sample moments. We demonstrate how we can efficiently and practically estimate quantiles using the method of moments and the maximum entropy principle, and show how the use of a cascade further improves query time for threshold predicates. Empirical evaluation on real-world datasets shows that the moments sketch can achieve less than 1 percent error with 15 times less merge overhead than comparable summaries, improving end query time in the MacroBase engine by up to 7 times and the Druid engine by up to 60 times.

研究动机与目标

• 为解决高选择性OLAP系统（如Druid和Spark）中大规模分位数摘要合并带来的性能瓶颈。
• 降低在需要对数百万维值组合进行近似分位数估计的交互式分析工作负载中的内存与计算开销。
• 设计一种支持高效合并操作的摘要数据结构，同时保持分位数查询的高精度。
• 通过最小化摘要合并时间，实现实时监控与探索性数据分析中的交互式查询延迟。
• 开发一种级联过滤策略，利用逐步更精确的估计器加速基于阈值的分位数查询。

提出的方法

• moments sketch 通过存储样本矩 μi = (1/n)Σxi 和对数矩 νi = (1/n)Σlogi(x) 来紧凑地总结数据分布。
• 通过矩量法与最大熵原理进行分位数估计，推断出与存储矩最匹配的最无偏分布。
• 通过矩量的闭式聚合实现高效的合并操作，支持在极小内存开销下实现低于50ns的合并时间。
• 引入估计器级联机制：从快速近似检查（如基于范围的检查）开始，逐步过渡到更精确的基于矩量的估计，从而减少昂贵的完整估计次数。
• 采用计数器流（turnstile semantics）支持滑动窗口查询，通过动态减法与合并操作更新摘要。
• 在真实世界数据集（如米兰互联网使用数据、Microsoft遥测数据）上，基于Druid和MacroBase引擎的生产级工作负载对方法进行了评估。

实验结果

研究问题

• RQ1 仅追踪矩量的摘要数据结构是否能在极低内存与计算成本下实现高精度分位数估计？
• RQ2 在高选择性聚合工作负载中，基于矩量的摘要算法与GK-sketch或Merge12等现有可合并分位数摘要相比，其合并时间表现如何？
• RQ3 级联过滤策略在基于阈值的分位数查询中能在多大程度上降低查询延迟？
• RQ4 moments sketch 是否能在多样化的现实世界数据集上保持低于1%的分位数误差，同时实现交互式查询性能？
• RQ5 矩量估计与最大熵原理的结合，在有限摘要统计下是否能产生比其他方法更无偏的分位数估计？

主要发现

• moments sketch 在仅使用200字节内存、合并时间低于50ns的条件下，对现实世界数据集的分位数误差低于1%。
• 在MacroBase引擎中，使用级联机制的moments sketch查询速度比Merge12 sketch快7.9倍，比直接估计基线快3.7倍。
• 在Druid引擎中，由于合并操作显著更快，moments sketch 将查询时间最高缩短60倍，优于Merge12 sketch。
• 与朴素基线相比，级联机制使估计时间减少超过250倍，各阶段处理的查询更少，吞吐量更高。
• 使用计数器流更新与级联机制的滑动窗口查询，运行速度比使用Merge12 sketch快13倍。
• 矩量法结合最大熵原理在连续实值数据上产生的分位数估计比其他方法更精确。