[论文解读] Count-Min-Log sketch: Approximately counting with approximate counters

Guillaume Pitel, Geoffroy Fouquier|arXiv (Cornell University)|Feb 17, 2015

Advanced Database Systems and Queries参考文献 10被引用 22

一句话总结

本文提出了 Count-Min-Log Sketch，它是 Count-Min Sketch 的一种变体，用基于对数的近似计数器替代了线性计数器，以降低低频事件估计中的平均相对误差。通过使用对数底数和 8–16 位计数器，该方法在内存受限设置下，将平均相对误差降低了最多 12 倍，并在点互信息（PMI）估计上实现了 10 倍更好的均方根误差（RMSE）。

ABSTRACT

Count-Min Sketch is a widely adopted algorithm for approximate event counting in large scale processing. However, the original version of the Count-Min-Sketch (CMS) suffers of some deficiences, especially if one is interested by the low-frequency items, such as in text-mining related tasks. Several variants of CMS have been proposed to compensate for the high relative error for low-frequency events, but the proposed solutions tend to correct the errors instead of preventing them. In this paper, we propose the Count-Min-Log sketch, which uses logarithm-based, approximate counters instead of linear counters to improve the average relative error of CMS at constant memory footprint.

研究动机与目标

• 为解决标准 Count-Min Sketch 在估计低频事件时相对误差过高的问题，该问题在文本挖掘应用中普遍存在。
• 在不增加内存占用的前提下，提升对低频词的近似计数精度。
• 通过增强计数估计的精确性，降低下游自然语言处理指标（如点互信息 PMI 和 TF-IDF）的误差。
• 评估对数计数器是否能防止误差传播，而非像以往变体那样进行误差校正。
• 在存储空间低于理想完美计数大小的高压内存环境下，评估性能表现。

提出的方法

• 用基于对数尺度的对数计数器替代 Count-Min Sketch 中的线性计数器，该计数器使用大于 1 的底数 b 将计数编码为压缩的对数形式。
• 采用保守的更新规则：仅当基于当前计数器值的基于概率的决策以概率 b^(-c) 成功时，才对项目进行递增。
• 采用两段式查询函数：PointValue(c) 在 c > 0 时返回 b^(c-1)，而 Value(c) 使用线性插值，从 d 个哈希函数的最小值中估计真实计数。
• 将该算法应用于 20newsgroups 语料库中的 unigram 和 bigram 频率计数，比较 CMS-CU、CMLS16-CU（底数 1.00025，16 位）和 CMLS8-CU（底数 1.08，8 位）的表现。
• 使用计数的平均相对误差（ARE）和 PMI 估计的均方根误差（RMSE）作为性能度量指标。
• 在固定内存预算下进行比较，并与实现完美计数所需理论最小存储量进行对照。

实验结果

研究问题

• RQ1 在 Count-Min Sketch 中用对数计数器替代线性计数器，是否能显著降低低频事件的平均相对误差？
• RQ2 该对数计数器设计是否如本研究假设的那样，能防止误差传播而非像以往 CMS 变体那样进行误差校正？
• RQ3 对数底数和计数器位宽的选择如何影响内存效率与估计精度之间的权衡？
• RQ4 在内存受限条件下，该方法在点互信息（PMI）等下游 NLP 指标上的改进程度如何？
• RQ5 Count-Min-Log Sketch 的性能增益是否在不同存储预算下保持一致，尤其是在低于理想完美计数大小的情况下？

主要发现

• 使用 16 位计数器的 Count-Min-Log Sketch（CMLS16-CU）在达到理想存储大小之前，平均相对误差相比标准 Count-Min Sketch（CMS-CU）降低了约 2 至 4 倍。
• 使用 8 位计数器和底数 1.08 的 CMLS8-CU 将平均相对误差降低了 7 至 12 倍，达到最小 ARE 为 10^(-1.5)。
• 在点互信息（PMI）方面，CMLS16-CU 在同等内存约束下相比 CMS-CU 将 RMSE 降低了约 4 倍，而 CMLS8-CU 降低了 10 倍。
• PMI 值的直方图显示，CMLS8-CU 的分布与参考分布高度一致，而 CMS-CU 在分布右侧（高兴趣区域）存在显著失真。
• CMLS8-CU 中的残余误差在约 10^(-1.5) 处趋于平稳，表明存在由近似计数决定的硬性下界，该下界取决于所使用的对数底数。
• 即使在高压内存环境下（存储空间小于理想完美计数大小），该方法仍能保持性能优势。