[论文解读] Approximating Large Frequency Moments with $O(n^{1-2/k})$ Bits

Vladimir Braverman, Jonathan Katzman+2 more|arXiv (Cornell University)|Jan 8, 2014

Algorithms and Data Compression参考文献 40被引用 4

一句话总结

本文提出了一种单遍流式算法，使用 $O(n^{1-2/k})$ 位内存近似计算 $F_k$，其中常数 $k > 3$，其空间复杂度与已知的下界仅相差一个常数因子。该方法结合了一种新颖的重元素检测算法与鞅草图，实现了最优的空间复杂度，同时以常数概率保证 $(1\pm\epsilon)$-近似。

ABSTRACT

In this paper we consider the problem of approximating frequency moments in the streaming model. Given a stream $D = \{p_1,p_2,\dots,p_m\}$ of numbers from $\{1,\dots, n\}$, a frequency of $i$ is defined as $f_i = |\{j: p_j = i\}|$. The $k$-th \emph{frequency moment} of $D$ is defined as $F_k = \sum_{i=1}^n f_i^k$. In this paper we give an upper bound on the space required to find a $k$-th frequency moment of $O(n^{1-2/k})$ bits that matches, up to a constant factor, the lower bound of Woodruff and Zhang (STOC 12) for constant $ε$ and constant $k$. Our algorithm makes a single pass over the stream and works for any constant $k > 3$.

研究动机与目标

• 解决流模型中近似 $F_k$ 的已知下界与上界之间的差距。
• 设计一种空间高效的算法，仅使用 $O(n^{1-2/k})$ 位内存，实现对 $F_k$ 的 $(1\pm\epsilon)$-近似。
• 开发一种用于在数据流中识别重元素的新算法，以实现最优空间复杂度。
• 将鞅草图框架扩展以支持单遍近似，实现最优内存使用。
• 在保持最优空间复杂度与近似保证的前提下，消除对多遍处理的依赖。

提出的方法

• 提出一种新的重元素检测算法（AHE），通过三遍处理识别 $\rho$-重元素，使用 $O(\frac{1}{\rho^C} F_0^{1-2/k} \log \frac{1}{\delta})$ 位内存，其中 $C \leq 10$。
• 采用递归采样与哈希策略，即使重元素与其他元素对矩的贡献均显著，也能将其隔离。
• 通过哈希函数将数据流划分为常数个子流，确保重元素极大概率位于其贡献占主导的子流中，从而以高概率实现检测。
• 应用鞅草图维护流中的一系列近似值，通过期望权重的几何级数控制误差。
• 通过使用指数递减的误差界降低多次近似带来的开销，实现单遍执行且不增加总内存使用量。
• 实施一个过滤步骤，仅从 $\rho^2$-重候选元素中选择前 $1/\rho$ 个最大元素，以限制非重元素带来的噪声。

实验结果

研究问题

• RQ1 对于常数 $k > 3$，能否将近似 $F_k$ 的空间复杂度降低至 $O(n^{1-2/k})$ 位，同时保持 $(1\pm\epsilon)$-近似？
• RQ2 是否可能通过单遍算法实现这一最优空间复杂度？
• RQ3 当多个元素对 $F_k$ 的贡献均显著时，如何可靠地检测重元素？
• RQ4 能否将鞅草图框架适配以支持单遍、最优空间复杂度的频率矩估计？
• RQ5 子流划分与哈希机制在保持空间效率方面引入的最小开销是多少？

主要发现

• 本文实现了 $O(n^{1-2/k})$ 位的上界，用于单遍算法近似 $F_k$，与 Woodruff 和 Zhang [46] 的下界仅相差一个常数因子。
• 对于常数 $\epsilon$ 和 $k \geq 7$，该算法使用 $O(n^{1-2/k})$ 内存位，并以至少 $2/3$ 的概率输出 $(1\pm\epsilon)$-近似。
• AHE 算法成功以 $O(\frac{1}{\rho^C} F_0^{1-2/k} \log \frac{1}{\delta})$ 位内存识别 $\rho$-重元素，其中 $C \leq 10$，从而实现高效的矩估计。
• 通过使用常数个子流与概率哈希，即使多个元素竞争主导地位，算法仍能保持 $O(n^{1-2/k})$ 的空间复杂度。
• 该算法通过使用几何级数的误差界与重复采样，消除了对多遍处理的需求，确保总误差在 $\epsilon F_k$ 范围内，且概率为常数。
• 非重元素带来的最终近似误差被控制在 $\rho F_k$ 以内，通过从 $\rho^2$-重候选元素中筛选出前 $1/\rho$ 个元素，使该误差变得可忽略。