[论文解读] Back to the Future: an Even More Nearly Optimal Cardinality Estimation Algorithm

Kevin Lang|arXiv (Cornell University)|Aug 22, 2017

Algorithms and Data Compression参考文献 15被引用 9

一句话总结

本文提出了一种基于Flajolet-Martin-85（FM85）草图的新基数估计算法，包含三种新颖的估计器，在压缩的HyperLogLog（HLL）草图基础上实现了更优的空间效率和准确性。通过利用zstd压缩并分析FM85与HLL的熵，作者证明压缩后的FM85草图比HLL的熵更小，从而在空间效率上优于HLL，同时在时间/空间/准确性的权衡中，三者表现均优于HLL。

ABSTRACT

We describe a new cardinality estimation algorithm that is extremely space-efficient. It applies one of three novel estimators to the compressed state of the Flajolet-Martin-85 coupon collection process. In an apples-to-apples empirical comparison against compressed HyperLogLog sketches, the new algorithm simultaneously wins on all three dimensions of the time/space/accuracy tradeoff. Our prototype uses the zstd compression library, and produces sketches that are smaller than the entropy of HLL, so no possible implementation of compressed HLL can match its space efficiency. The paper's technical contributions include analyses and simulations of the three new estimators, accurate values for the entropies of FM85 and HLL, and a non-trivial method for estimating a double asymptotic limit via simulation.

研究动机与目标

• 开发一种比现有HyperLogLog（HLL）实现更节省空间且更准确的基数估计算法。
• 证明结合新颖估计器与压缩技术的FM85草图可在时间、空间和准确性三个维度上全面超越HLL。
• 精确计算FM85与HLL草图的渐近熵，以实现空间效率的公平比较。
• 提出并验证三种针对FM85的新估计器，以提升其在原始FM85估计器上的准确性。
• 开发一种非平凡的模拟方法，用于估计定义基数估计中误差常数的双重渐近极限。

提出的方法

• 该算法将三种新颖估计器——ICON、MDL和历史逆概率——应用于FM85草图的压缩状态，该状态追踪每一行中尚未收集的最左面优惠券。
• 使用zstd库在压缩级别1下对FM85草图进行压缩，实现超越HLL理论极限的空间效率。
• 通过基于每张优惠券累积收集概率（基于抽取次数n）的算术编码计算熵。
• 采用一种非平凡的模拟方法，近似计算当k→∞且n→∞时，均方根误差除以n的双重渐近极限，以估计误差常数。
• 在相同k值下（FM85为k=2^15，HLL为k=2^16）对压缩后的FM85与压缩后的HLL进行直接比较，以确保准确性比较的公平性。
• HLL草图通过zstd直接压缩，而FM85草图使用相同的压缩流水线，从而可直接比较压缩后大小与性能表现。

实验结果

研究问题

• RQ1 使用新颖估计器的FM85草图能否在每比特熵的准确度上优于HLL草图？
• RQ2 是否可能将FM85草图压缩至小于HLL草图熵的大小，从而实现更优的空间效率？
• RQ3 FM85的三种新估计器是否能显著提升其在原始FM85估计器及现有HLL估计器上的准确性？
• RQ4 基于模拟的方法能否准确估计定义基数估计中误差常数的双重渐近极限？
• RQ5 FM85结合先进估计器与zstd压缩后，是否能在时间、空间和准确性三个维度上全面超越HLL？

主要发现

• FM85草图的熵约为4.70×k比特，而HLL草图的熵为2.83×k比特，表明HLL在本质上更具可压缩性。
• 新ICON估计器的误差常数为0.693，低于0.807的阈值，该阈值为在每比特熵上超越HLL准确度所必需，因此ICON估计器优于HLL。
• 压缩后的FM85草图小于HLL的熵，意味着任何使用已知估计器的HLL实现都无法在空间效率上匹敌FM85。
• 在实际基准测试中，使用ICON估计器的FM85比HLL的标准估计器更准确，而使用MDL估计器的FM85则优于HLL的MDL估计器。
• 尽管FM85向zstd发送的字节数是HLL的两倍，但由于其草图状态具有更高的可压缩性，因此FM85速度更快。
• 原型系统在4.3秒内处理了10亿个条目，展示了其适用于生产环境的实际性能。