[论文解读] Fast Moment Estimation in Data Streams in Optimal Space

Daniel M. Kane, Jelani Nelson+2 more|arXiv (Cornell University)|Jul 23, 2010

Advanced Database Systems and Queries参考文献 31被引用 4

一句话总结

该论文提出了一种针对 $0 < p < 2$ 的数据流中第 $p$ 阶频率矩 $F_p$ 的空间最优算法，相较于以往的空间最优方法，其更新时间实现了近乎指数级的提升。通过结合一种新颖的基于哈希的重频项检测方法与利用成对独立随机性的方差缩减技术，该算法在保持最优 $O(\varepsilon^{-2}\log(mM) + \log\log n)$ 空间使用的同时，实现了 $O(\log^2(1/\varepsilon)\log\log(1/\varepsilon))$ 的更新时间。

ABSTRACT

We give a space-optimal algorithm with update time O(log^2(1/eps)loglog(1/eps)) for (1+eps)-approximating the pth frequency moment, 0 &lt; p &lt; 2, of a length-n vector updated in a data stream. This provides a nearly exponential improvement in the update time complexity over the previous space-optimal algorithm of [Kane-Nelson-Woodruff, SODA 2010], which had update time Omega(1/eps^2).

研究动机与目标

• 设计一种流式算法，实现对数据流中向量第 $p$ 阶频率矩 $F_p$ 估计的空间复杂度最优，其中 $0 < p < 2$。
• 显著降低空间最优算法在 $F_p$ 估计中的更新时间，特别是针对 $p \in (0,2)$ 的情况，超越以往已知的界限。
• 在保持最优空间使用的同时，实现更新时间复杂度的近乎指数级改进，使该算法适用于高速网络和数据库应用。
• 开发一种方法，在仅使用 $O(\varepsilon^{-2}\log(mM) + \log\log n)$ 位空间的前提下，实现常数成功概率下的高精度估计，且更新时间为 $O(\log^2(1/\varepsilon)\log\log(1/\varepsilon))$。

提出的方法

• 该算法采用两阶段方法：首先通过哈希函数 $h_1$ 将坐标映射到更小的域，从而高效检测对 $F_p$ 有显著贡献的重频项。
• 采用一种改进的估计器 $\mathsf{LightEstimator}$，通过基于多项式的方法计算非重频项的 $p$ 阶矩，利用 $O(\varepsilon^{-2})$ 次并行重复以降低方差。
• 通过在多个估计器之间利用成对独立的随机性，最小化空间与更新时间开销，使得度数为 $O(1/\varepsilon^p)$ 的多项式的所有系数生成仅需两个系数向量完成。
• 一个重频项检测模块 $\mathsf{F_pHH}$ 用于识别满足 $|x_w|^p \geq \varepsilon^2 \|x\|_p^p$ 的坐标，确保仅对显著贡献进行高精度追踪。
• 该算法将重频项部分的估计结果（$\mathsf{HighEnd}$）与轻量部分的估计结果（$\mathsf{LightEstimator}$）相结合，生成最终的 $F_p$ 估计值，其与真实值的误差在 $1 \pm \varepsilon$ 范围内。
• 通过取独立运行结果的中位数来提升成功概率，确保每次运行的成功概率至少为 $2/3$，并通过 $O(\log(1/\delta))$ 次重复将成功概率提升至 $1 - \delta$。

实验结果

研究问题

• RQ1 我们能否在 $0 < p < 2$ 的数据流中实现 $F_p$ 估计的空间最优性，同时与以往的空间最优算法相比，将更新时间大幅降低？
• RQ2 是否可能将更新时间从 $\Omega(\varepsilon^{-2})$ 降低至 $\tilde{O}(\log^2(1/\varepsilon)\log\log(1/\varepsilon))$，同时保持最优的空间复杂度？
• RQ3 我们如何设计一种流式算法，仅使用 $O(\varepsilon^{-2}\log(mM) + \log\log n)$ 位空间，却能为 $p \in (0,2)$ 实现近乎常数的更新时间？
• RQ4 我们能否通过结合重频项检测与方差缩减的多项式估计器，在仅使用极少随机性的前提下，保持 $F_p$ 估计的高精度？

主要发现

• 该算法实现了 $O(\varepsilon^{-2}\log(mM) + \log\log n)$ 位的空间复杂度，这是针对 $0 < p < 2$ 的 $F_p$ 估计的最优空间复杂度。
• 其更新时间为 $O(\log^2(1/\varepsilon)\log\log(1/\varepsilon))$，相较于以往空间最优算法的 $\Omega(\varepsilon^{-2})$ 更新时间，实现了近乎指数级的提升。
• 该算法以至少 $2/3$ 的概率输出 $F_p = \|x\|_p^p$ 的 $(1 \pm \varepsilon)$-近似值，且仅使用 $O(\varepsilon^{-2}\log(mM) + \log\log n)$ 的空间。
• 该方法仅在估计器之间使用成对独立的随机性，使得系数生成高效，仅需两个系数向量，从而保持了较低的更新时间。
• 报告时间（reporting time）为 $O(\varepsilon^{-2}\log^2(1/\varepsilon)\log\log(1/\varepsilon))$，在高速流式处理环境中具有可接受的实用性。
• 通过取 $O(\log(1/\delta))$ 次独立运行结果的中位数，可将成功概率提升至 $1 - \delta$，同时保持空间和更新时间的界限不变。