[论文解读] (Learned) Frequency Estimation Algorithms under Zipfian Distribution

Anders Aamand, Piotr Indyk+1 more|arXiv (Cornell University)|Aug 14, 2019

Speech and Audio Processing参考文献 48被引用 17

一句话总结

本文首次对 Zipfian 频率分布下的 Count-Min 和 Count-Sketch 提供了紧致的理论分析，表明标准版本在使用大于一的常数个哈希函数时表现最优，而非传统假设的对数级数量。此外，本文建立了 Count-Sketch 标准版与学习增强版的首个误差界，证明当使用完美热点项预言机时，学习增强型变体可将估计误差降低 Θ(log(n)/log(n/B)) 倍。

ABSTRACT

\begin{abstract} The frequencies of the elements in a data stream are an important statistical measure and the task of estimating them arises in many applications within data analysis and machine learning. Two of the most popular algorithms for this problem, Count-Min and Count-Sketch, are widely used in practice. In a recent work [Hsu et al., ICLR'19], it was shown empirically that augmenting Count-Min and Count-Sketch with a machine learning algorithm leads to a significant reduction of the estimation error. The experiments were complemented with an analysis of the expected error incurred by Count-Min (both the standard and the augmented version) when the input frequencies follow a Zipfian distribution. Although the authors established that the learned version of Count-Min has lower estimation error than its standard counterpart, their analysis of the standard Count-Min algorithm was not tight. Moreover, they provided no similar analysis for Count-Sketch. In this paper we resolve these problems. First, we provide a simple tight analysis of the expected error incurred by Count-Min. Second, we provide the first error bounds for both the standard and the augmented version of Count-Sketch. These bounds are nearly tight and again demonstrate an improved performance of the learned version of Count-Sketch. In addition to demonstrating tight gaps between the aforementioned algorithms, we believe that our bounds for the standard versions of Count-Min and Count-Sketch are of independent interest. In particular, it is a typical practice to set the number of hash functions in those algorithms to $Θ(\log n)$. In contrast, our results show that to minimize the \emph{expected} error, the number of hash functions should be a constant, strictly greater than $1$.

研究动机与目标

• 解决标准 Count-Min 与 Count-Sketch 在 Zipfian 频率分布下缺乏紧致误差分析的问题。
• 首次为标准与学习增强型 Count-Sketch 提供理论误差界，这些界在以往文献中均未出现。
• 证明标准 Count-Min 与 Count-Sketch 中的哈希函数数量应为大于一的常数，以最小化期望误差，这与通常采用 Θ(log n) 的做法相反。
• 量化学习增强型 Count-Min 与 Count-Sketch 在 Zipfian 数据下的性能提升，特别是在使用完美热点项预言机时。
• 证明使用单个哈希函数的 Count-Sketch 学习增强版本可实现渐近最优误差，与 Count-Min 中观察到的改进程度一致。

提出的方法

• 推导出在 Zipfian 频率下，使用 k 个哈希函数和 B 个桶的标准 Count-Min 的期望误差的紧致渐近界 Θ(k log(kn/B)/B)。
• 提出一种新颖的分析框架，用于界定在 Zipfian 分布下 Count-Sketch 的误差，考虑哈希冲突的结构以及桶估计的方差。
• 改编先前工作 [HIKV19] 中的学习增强框架，其中神经网络分类器识别热点项并为其分配唯一桶，而非热点项则通过标准的 Sketch 处理。
• 分析使用单个哈希函数的学習增强型 Count-Sketch 的期望误差，证明其可实现最优渐近误差量级。
• 利用概率论与集中不等式方法，界定非热点项对估计误差的贡献，利用 Zipfian 频率的幂律衰减特性。
• 通过合成数据流（n=10,000 项，α=1）的实验验证理论结果，变化 B 和 k，假设使用完美热点项预言机。

实验结果

研究问题

• RQ1 标准 Count-Min 在 Zipfian 频率分布下的期望误差的紧致渐近界是什么？
• RQ2 标准 Count-Sketch 在 Zipfian 频率下的首个理论误差界是什么？其与 Count-Min 的表现相比如何？
• RQ3 学习增强型 Count-Sketch 是否实现了与学习增强型 Count-Min 相当的误差降低？若是，降低因子是多少？
• RQ4 在 Zipfian 数据下，为最小化期望误差，标准 Count-Min 与 Count-Sketch 的最优哈希函数数量 k 是多少？
• RQ5 在相同假设下，学习型与标准型之间的性能差距能否被定量刻画？

主要发现

• 标准 Count-Min 在使用 k 个哈希函数和 B 个桶时，其期望误差被紧致地界定为 Θ(k log(kn/B)/B)，解决了先前工作中松散边界的不足。
• 首次建立了标准 Count-Sketch 在 Zipfian 分布下的误差界，表明其误差量级与 Count-Min 相似。
• 当热点项预言机完美时，学习增强型 Count-Min 的估计误差相比标准 Count-Min 降低了 Θ(log(n)/log(n/B)) 倍。
• 学习增强型 Count-Sketch 同样将误差降低了 Θ(log(n)/log(n/B)) 倍，与 Count-Min 中观察到的改进程度一致。
• 对于 Count-Min 与 Count-Sketch，为最小化期望误差，最优哈希函数数量应为大于一的常数，而非 Θ(log n)，这与常见实践相悖。
• 实验结果证实，学习增强型显著优于标准版本，当 k=1 且预言机完美时，学习增强型 Count-Sketch 的误差接近零（例如 B=5000 时为 0.0000698）。