[论文解读] New cardinality estimation algorithms for HyperLogLog sketches

Otmar Ertl|arXiv (Cornell University)|Feb 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 22被引用 17

一句话总结

本文提出了两种针对HyperLogLog草图的新基数估计算法：一种基于理论动机的偏差校正估计器，可在整个基数范围内提升准确性；另一种基于最大似然的方法，可提供无偏估计并具备更优的精度。该最大似然方法进一步通过优于传统包含-排除原理的方式，实现对并集、交集和相对补集等集合运算的更精确估计。

ABSTRACT

This paper presents new methods to estimate the cardinalities of data sets recorded by HyperLogLog sketches. A theoretically motivated extension to the original estimator is presented that eliminates the bias for small and large cardinalities. Based on the maximum likelihood principle a second unbiased method is derived together with a robust and efficient numerical algorithm to calculate the estimate. The maximum likelihood approach can also be applied to more than a single HyperLogLog sketch. In particular, it is shown that it gives more precise cardinality estimates for union, intersection, or relative complements of two sets that are both represented by HyperLogLog sketches compared to the conventional technique using the inclusion-exclusion principle. All the new methods are demonstrated and verified by extensive simulations.

研究动机与目标

• 解决原始HyperLogLog估计器在低基数和高基数情况下的偏差问题。
• 基于最大似然原理，开发一种理论基础坚实的无偏基数估计方法。
• 将最大似然方法扩展至支持在合并草图时更精确地估计集合运算结果的基数（例如，并集、交集）。
• 提供一种数值稳定且高效的算法以计算新估计值。
• 通过大量模拟实验表明，新方法相较于现有技术显著降低了估计误差。

提出的方法

• 提出一种修正的原始估计器，通过使用理论推导出的校正因子调整调和平均公式，以校正原始HyperLogLog估计器中的偏差。
• 推导出基于草图状态完整似然函数的基数估计最大似然估计器（MLE），该估计器在假设的寄存器值统计模型下为无偏且最优。
• 提出一种鲁棒且高效的数值算法以计算MLE估计值，确保数值稳定性和快速收敛。
• 将MLE框架应用于多个HyperLogLog草图，实现对集合运算结果大小的联合估计。
• 采用泊松近似模型描述草图中寄存器值的分布，为MLE推导提供统计基础。
• 通过在多样化基数范围和集合运算场景下进行大量模拟实验，验证了所提方法的有效性。

实验结果

研究问题

• RQ1 对原始HyperLogLog估计器进行基于理论动机的修正，是否能消除在整个基数范围内（包括小值和大值）的偏差？
• RQ2 基于草图状态完整似然函数的最大似然估计器，是否能提供比原始方法更准确且无偏的基数估计？
• RQ3 最大似然方法能否推广至在合并两个HyperLogLog草图时，更精确地估计集合运算（如并集、交集）的基数？
• RQ4 与传统的包含-排除原理相比，基于新MLE的方法在集合运算中的性能如何？
• RQ5 所提算法在实际应用中的数值稳定性和计算效率如何？

主要发现

• 所提出的偏差校正估计器在整个基数范围内（包括小基数和大基数）显著降低了相对误差，优于原始HyperLogLog估计器。
• 最大似然估计器（MLE）被证明为无偏估计器，且其精度高于原始估计器和校正估计器。
• 对于并集、交集和相对补集等集合运算，基于MLE的方法相比包含-排除原理显著降低了估计误差，尤其在Jaccard指数较小时效果更明显。
• MLE算法具有良好的数值稳定性，误差传播在递归步骤中被限制并逐渐减小，确保了计算的可靠性。
• 由于辅助函数h(x)近似引入的最终估计误差，其数量级与h(x)本身的近似误差相当，表明方法具有鲁棒性。
• 模拟实验结果证实，新方法在不同数据分布和基数范围内均能持续降低估计误差。