[论文解读] Feasible Sampling of Non-strict Turnstile Data Streams

Neta Barkay, Ely Porat+1 more|arXiv (Cornell University)|Sep 25, 2012

Data Stream Mining Techniques参考文献 5被引用 3

一句话总结

本论文提出了首个适用于非严格Turnstile数据流的可行精确采样方法，可高效采样值-计数对 (k, Cₖ)，并具备可证明的成功概率。通过使用单一共享数据结构同时提取多个元素，该方法在每个元素上实现 O((log log(1/ε))² + (log log(1/δ))²) 次操作——相比先前方法提升了一个数量级——并支持正向与反向分布查询，且具有加法误差保证。

ABSTRACT

We present the first feasible method for sampling a dynamic data stream with deletions, where the sample consists of pairs $(k,C_k)$ of a value $k$ and its exact total count $C_k$. Our algorithms are for both Strict Turnstile data streams and the most general Non-strict Turnstile data streams, where each element may have a negative total count. Our method improves by an order of magnitude the known processing time of each element in the stream, which is extremely crucial for data stream applications. For example, for a sample of size $O(ε^{-2} \log{(1/δ)})$ in Non-strict streams, our solution requires $O((\log\log(1/ε))^2 + (\log\log(1/δ)) ^ 2)$ operations per stream element, whereas the best previous solution requires $O(ε^{-2} \log^2(1/δ))$ evaluations of a fully independent hash function per element. Here $1-δ$ is the success probability and $ε$ is the additive approximation error. We achieve this improvement by constructing a single data structure from which multiple elements can be extracted with very high success probability. The sample we generate is useful for calculating both forward and inverse distribution statistics, within an additive error, with provable guarantees on the success probability. Furthermore, our algorithms can run on distributed systems and extract statistics on the union or difference between data streams. They can be used to calculate the Jaccard similarity coefficient as well.

研究动机与目标

• 为解决在存在删除操作的动态数据流中缺乏高效精确采样算法的问题，特别是针对非严格Turnstile模型（其中值的总计数可能为负）的情况。
• 实现对精确计数有依赖的反向分布统计（如频率的频率）的准确估计，而这类统计在近似采样方法下无法实现。
• 将动态采样中每个元素的处理成本从 O(ε⁻² log²(1/δ)) 降低至 O((log log(1/ε))² + (log log(1/δ))²)，显著提升实时流处理的效率。
• 通过支持来自独立流的数据结构之间的并集与差集操作，实现对多个数据源的统一采样，从而支持分布式流处理。

提出的方法

• 该方法使用单一共享数据结构（FRS 或 ϵ-FRS），通过基于哈希的分桶机制维护多个桶，实现高成功概率下同时提取多个元素。
• 采用 t-独立哈希函数，其中 t = Θ(log(K/δ))，将元素映射到桶中，确保碰撞概率低，并能稳健恢复精确计数。
• 算法利用失败集合（fail set）检测并避免恢复过程中的误报，通过控制大碰撞与小碰撞的边界来控制误差概率。
• 对于非严格Turnstile流，该方法为每个桶维护独立的桶结构（BSₙₛ），并使用范围 q = Θ(K/δ) 以限制误报检测概率。
• 恢复过程采用两阶段策略：首先检测仅含一个元素的桶（保证成功），然后以有界误差概率处理小碰撞。
• 该框架支持分布式计算，允许对来自独立流的数据结构进行加法与减法操作，从而实现对多个流的并集或差集的统一采样。

实验结果

研究问题

• RQ1 能否在非严格Turnstile数据流中实现高效精确采样，其中值的总计数可能为负？
• RQ2 是否可能将精确采样的每个元素处理成本降低至 ε 和 δ 的亚多项式时间，超越先前工作的 O(ε⁻² log²(1/δ)) 上限？
• RQ3 能否通过单一数据结构实现高成功概率下多个元素的同时提取，避免需要 O(K) 个独立实例？
• RQ4 如何将精确采样扩展至支持分布式流处理，包括对多个流的并集与差集操作？
• RQ5 所提出的方法能否为正向与反向分布查询提供可证明的加法误差保证？

主要发现

• 所提算法在每个流元素上实现 O((log log(1/ε))² + (log log(1/δ))²) 次操作，相比先前的 O(ε⁻² log²(1/δ)) 上限提升了一个数量级。
• 采样过程的成功概率至少为 1−δ，通过仔细控制碰撞事件与哈希函数的独立性，将误差概率控制在 δ 以内。
• 该方法即使在 Cₖ = 0（即被删除的元素）时也能实现精确采样，确保此类值不会出现在样本中。
• 该框架支持精确的反向分布查询，例如在高概率下以加法误差 ε 估计 f⁻¹(i) = |{k : Cₖ = i}| / |{k : Cₖ ≠ 0}|。
• 该数据结构支持分布式处理：通过组合或相减数据结构，可计算流的并集或差集，从而实现在多个源上的统一采样。
• 该算法可用于通过从差集或并集中采样来计算数据流之间的Jaccard相似系数。