[论文解读] Bloomier Filters: A second look

Denis Charles, Kumar Chellapilla|ArXiv.org|Jul 6, 2008

Caching and Content Delivery参考文献 11被引用 5

一句话总结

本文提出了一种简化且线性时间的Bloomier filter构造方法，可紧凑地存储静态集合上的函数，并实现常数时间查询性能。通过利用随机有向无环图和模算术，该方法在保持类似空间效率和O(1)查询时间的同时，将构造时间从之前的O(n log n)降低至O(n)，从而实现更快的构造速度，但以更新效率为代价。

ABSTRACT

A Bloom filter is a space efficient structure for storing static sets, where the space efficiency is gained at the expense of a small probability of false-positives. A Bloomier filter generalizes a Bloom filter to compactly store a function with a static support. In this article we give a simple construction of a Bloomier filter. The construction is linear in space and requires constant time to evaluate. The creation of our Bloomier filter takes linear time which is faster than the existing construction. We show how one can improve the space utilization further at the cost of increasing the time for creating the data structure.

研究动机与目标

• 开发一种更简单、更快的Bloomier filter构造方法，以紧凑方式编码静态集合上的函数。
• 将Bloomier filter的创建时间从O(n log n)降低至O(n)，优于先前方法。
• 在保持O(1)查询时间及与现有方法相当的空间效率的同时，实现目标。
• 探讨构造时间、空间使用与动态更新支持之间的权衡。
• 在真实数据（如URL入度信息）上评估新构造方法的实际性能。

提出的方法

• 使用两个独立的哈希函数h₁和h₂将元素映射到顶点，构建随机有向无环图，确保图具有O(n)个顶点，并以常数概率保持无环。
• 对于1位函数，通过回代法在图的顶点上模2求解线性方程组，将值存储在查找表g: V → {0,1}中。
• 通过使用满足m ≥ 2的环ℤ/mℤ及额外的哈希函数h₃，将方法推广至k位函数，通过f(x) ≡ g(h₁(x)) + g(h₂(x)) + h₃(x) (mod m)编码函数值。
• 利用有向无环图的树状结构，在O(n)时间内通过回代法求解方程组。
• 应用分桶技术，将更节省空间的变体的O(n³)创建时间降低至O(n log^{O(1)} n)，提升实用性。
• 对k位函数使用相同的图构造和方程求解框架，通过模算术实现容错性，并提供概率保证。

实验结果

研究问题

• RQ1 是否可以在保持O(1)查询时间与O(n)空间使用的同时，实现O(n)时间的Bloomier filter构造？
• RQ2 为何使用有向无环随机图能够实现函数编码方程的高效且确定性求解？
• RQ3 在Bloomier filter设计中，空间效率与构造时间之间的权衡是什么？
• RQ4 能否通过分桶技术将空间优化型Bloomier filter的构造时间从O(n³)降低至近线性时间？
• RQ5 在真实工作负载（如URL入度图）上，与先前的O(n log n)构造方法相比，所提方法在实际性能上表现如何？

主要发现

• 所提构造方法实现了O(n)的创建时间，在真实世界URL入度数据上，其速度比先前的O(n log n)方法快3至5倍。
• Bloomier filter的内存占用约为20 GB，用于存储11亿个URL的入度信息，与先前方法的空间使用量相当。
• 寻找无环图（新方法）或无损扩展图（先前方法）所需的尝试次数相近，表明其概率效率相似。
• 该方法支持O(1)查询时间，仅需2次内存访问和3次哈希计算，略快于先前方案所需的r+1 ≥ 3次内存访问。
• 使用分桶技术的优化空间变体将构造时间从O(n³)降低至O(n log^{O(1)} n)，使其具备实用性，同时实现(1+δ)n(log(1/ε)+k)的空间复杂度，其中δ > 0为任意常数。
• 该方法在动态更新方面存在权衡，更新f(x)需要O(log n)时间，而先前方案为O(1)。