[论文解读] Fast Pseudo-Random Fingerprints

Yoram Bachrach, Ely Porat|arXiv (Cornell University)|Sep 29, 2010

Algorithms and Data Compression参考文献 18被引用 8

一句话总结

本文提出了一种新颖的方法，通过使用伪随机哈希族来实现对大规模数据流中相似性指纹的指数级加速计算，该族能够快速识别最小哈希值。通过每条哈希函数仅存储一位，并利用翻转位置的等差数列结构，该方法将指纹构建时间从 O(b·k) 降低至 O(b·log k)，在保持准确性和置信度保证的同时实现了显著的速度提升。

ABSTRACT

We propose a method to exponentially speed up computation of various fingerprints, such as the ones used to compute similarity and rarity in massive data sets. Rather then maintaining the full stream of $b$ items of a universe $[u]$, such methods only maintain a concise fingerprint of the stream, and perform computations using the fingerprints. The computations are done approximately, and the required fingerprint size $k$ depends on the desired accuracy $ε$ and confidence $δ$. Our technique maintains a single bit per hash function, rather than a single integer, thus requiring a fingerprint of length $k = O(\frac{\ln \frac{1}δ}{ε^2})$ bits, rather than $O(\log u \cdot \frac{\ln \frac{1}δ}{ε^2})$ bits required by previous approaches. The main advantage of the fingerprints we propose is that rather than computing the fingerprint of a stream of $b$ items in time of $O(b \cdot k)$, we can compute it in time $O(b \log k)$. Thus this allows an exponential speedup for the fingerprint construction, or alternatively allows achieving a much higher accuracy while preserving computation time. Our methods rely on a specific family of pseudo-random hashes for which we can quickly locate hashes resulting in small values.

研究动机与目标

• 解决使用大量哈希函数生成大规模数据流指纹时计算成本过高的问题。
• 在不牺牲准确性的前提下，将指纹构建的时间复杂度从 O(b·k) 降低至 O(b·log k)。
• 在仅使用每位哈希函数一个比特（即最小值是否被达成）的前提下，保持相似性与稀有性估计的统计保证。
• 将该技术推广至 Jaccard 相似性之外的其他基于哈希的压缩方法。
• 提升依赖于最小哈希独立性哈希的流式算法在数据摘要与相似性查询中的效率。

提出的方法

• 使用模素数 p 的伪随机多项式族，生成具有可证明近似保证的最小哈希独立哈希函数。
• 从两个随机多项式 f 和 g 构造复合哈希函数 h_i(x) = f(x) + i·g(x)，以高效计算最小值。
• 利用翻转位置（即值在模 p 下回绕的位置）形成等差数列的特性，实现对数时间搜索。
• 当步长 b > p/2 时，通过反向递归扫描翻转位置，确保每层递归最多检查一半的元素。
• 通过首先检查非翻转位置（若 b < t），然后利用等差数列结构递归处理翻转位置，优化对小于阈值 t 的元素的搜索。
• 每条哈希函数仅存储一位（表示最小值是否被达成），将指纹大小减少至 O(ln(1/δ)/ε²) 位，而非原先的 O(log u · ln(1/δ)/ε²)。

实验结果

研究问题

• RQ1 能否通过一种新颖的哈希策略，将大规模数据流中指纹构建的计算时间从 O(b·k) 降低至 O(b·log k)？
• RQ2 在每条哈希函数仅使用一位的前提下，是否仍能保持相似性与稀有性估计的准确性，同时满足所需的置信度与精度？
• RQ3 能否利用基于多项式的哈希族中翻转位置的结构，实现对最小哈希值的对数时间搜索？
• RQ4 所提出的方法是否可推广至 Jaccard 相似性之外的其他压缩技术，如 L_p 压缩或不同元素计数？
• RQ5 该技术能否在时间与空间开销最小的前提下，应用于复杂的哈希族（如最小哈希独立族）？

主要发现

• 所提方法将指纹构建时间从 O(b·k) 降低至 O(b·log k)，在实际应用中实现了指数级加速。
• 指纹大小减少至 O(ln(1/δ)/ε²) 位，达到准确性和置信度的理论下界，且无需存储完整整数。
• 该方法保持了与先前方法相同的渐近哈希函数数量，确保统计准确性无损失。
• 通过利用翻转位置的等差数列结构，算法确保每层递归最多处理一半元素，从而实现 O(log k) 的时间复杂度。
• 该技术具有通用性，适用于任何基于最小哈希值的指纹方案，包括 Jaccard 相似性、不同元素计数以及 L_p 压缩。
• 即使当 b > p/2 时，通过反转扫描顺序并使用 p−b 作为步长，仍能保持对数时间复杂度，表现出鲁棒性。