[论文解读] Continuous monitoring of $\ell_p$ norms in data streams

Jarosław Błasiok, Jian Ding+1 more|arXiv (Cornell University)|Apr 21, 2017

Data Stream Mining Techniques参考文献 35被引用 3

一句话总结

本文提出了一种新颖的、空间高效的算法，用于在所有 $ p \in (0,2] $ 的插入-only 数据流中连续监控 $\ell_p$-范数。通过引入对 Indyk 的 $p$-稳定草图的精细化分析，并结合递归离散化与哈希策略，作者实现了强跟踪，空间复杂度为 $\widetilde{O}(\varepsilon^{-2} (\lg m + \lg n)(\lg \varepsilon^{-1} + \lg \delta^{-1} + \lg \lg m))$，改进了 $p < 2$ 时的先前界限，并填补了连续监控设置中的空白。

ABSTRACT

In insertion-only streaming, one sees a sequence of indices $a_1, a_2, \ldots, a_m\in [n]$. The stream defines a sequence of $m$ frequency vectors $x^{(1)},\ldots,x^{(m)}\in\mathbb{R}^n$ with $(x^{(t)})_i = |\{j : j\in[t], a_j = i\}|$. That is, $x^{(t)}$ is the frequency vector after seeing the first $t$ items in the stream. Much work in the streaming literature focuses on estimating some function $f(x^{(m)})$. Many applications though require obtaining estimates at time $t$ of $f(x^{(t)})$, for every $t\in[m]$. Naively this guarantee is obtained by devising an algorithm with failure probability $\ll 1/m$, then performing a union bound over all stream updates to guarantee that all $m$ estimates are simultaneously accurate with good probability. When $f(x)$ is some $\ell_p$ norm of $x$, recent works have shown that this union bound is wasteful and better space complexity is possible for the continuous monitoring problem, with the strongest known results being for $p=2$ [HTY14, BCIW16, BCINWW17]. In this work, we improve the state of the art for all $0

研究动机与目标

• 解决在插入-only 数据流中连续监控 $\ell_p$-范数的挑战，要求在每次更新后都能获得准确估计，而不仅在结束时。
• 克服标准并集界限方法的低效性，该方法要求失败概率 $\ll 1/m$ 以应对 $m$ 次更新，从而导致空间爆炸。
• 改进连续监控模型中 $\ell_p$-范数估计的空间复杂度，特别是对于 $p < 2$ 的情形，此前结果不够理想。
• 开发一种方法，实现强跟踪——对所有 $m$ 次查询同时保持高精度——使用最少的随机位数和简洁的数据结构。

提出的方法

• 作者采用 Indyk 的 $p$-稳定草图，并引入一种新颖的分析方法，以适应流式更新的动态特性及对连续精度的需求。
• 通过将草图矩阵 $\Pi$ 的条目四舍五入到 $\gamma = \Theta(\varepsilon m^{-1})$ 的倍数，实现离散化，从而在保持精度的同时实现紧凑存储。
• 使用 $r$-wise 和 $s$-wise 独立的哈希函数来存储草图矩阵，通过编码种子而非完整矩阵来减少空间开销。
• 采用递归结构来控制 $\ell_p$-范数的增长，从而将强跟踪问题简化为失败概率更小的弱跟踪问题。
• 通过在 $\Theta(\lg(1/\delta))$ 个独立草图上使用中位数估计，实现低失败概率，空间复杂度取决于 $\varepsilon^{-2}$ 和对数项。
• 算法使用 $\mathcal{O}(\lg m)$ 位每计数器，维护当前频率向量的紧凑草图，其中计数器数量 $d = \mathcal{O}(\varepsilon^{-2} (\lg \varepsilon^{-1} + \lg \delta^{-1}))$。

实验结果

研究问题

• RQ1 能否在标准并集界限方法之外，进一步改进 $p \in (0,2)$ 时连续 $\ell_p$-范数监控的空间复杂度？
• RQ2 是否可能在 $n$ 和 $m$ 的次线性空间内，实现具有 $1+\varepsilon$ 乘法误差和失败概率 $\delta$ 的强跟踪？
• RQ3 如何分析 Indyk 的 $p$-稳定草图，以支持最小空间开销的连续监控？
• RQ4 在连续监控模型中，精度 $\varepsilon$、失败概率 $\delta$ 和空间使用之间的最优权衡是什么？

主要发现

• 本文在所有 $p \in (0,2]$ 的插入-only 流中，实现了 $\ell_p$-范数估计的强跟踪，空间复杂度为 $\mathcal{O}\left(\frac{+\lg n}{\varepsilon^2}(\lg \varepsilon^{-1} + \lg \delta^{-1} + \lg \lg m)\right)$ 位。
• 该空间界限优于先前对 $p < 2$ 的工作，此前的算法要么需要更多空间，要么无法在强保证下支持连续监控。
• 作者证明，通过将问题简化为容差更小的弱跟踪，可将失败概率从 $\delta$ 降低至 $\delta \lg f(x^{(m)})$，从而通过递归分解实现强跟踪。
• 将草图矩阵 $\Pi$ 离散化为 $\gamma = \Theta(\varepsilon m^{-1})$ 的倍数对精度影响可忽略，从而可使用 $\mathcal{O}(\lg m \varepsilon^{-1})$ 随机位每条目实现紧凑表示。
• 该方法每计数器仅使用 $\mathcal{O}(\lg m)$ 位，且计数器总数为 $\mathcal{O}(\varepsilon^{-2} (\lg \varepsilon^{-1} + \lg \delta^{-1}))$，整体空间高效。
• 分析表明，频率向量的 $\ell_p$-范数增长最多为 $m^2$，因此 $\lg \|x^{(m)}\|_p = \mathcal{O}(\lg m)$，这对强跟踪归约中的失败概率边界至关重要。