[论文解读] A Dynamic Space-Efficient Filter with Constant Time Operations

Ioana O. Bercea, Guy Even|arXiv (Cornell University)|Nov 12, 2019

Coding theory and cryptography参考文献 43被引用 9

一句话总结

本论文提出了首个针对随机多重集的完全动态、空间高效的字典，支持在最坏情况下以高概率实现常数时间的插入、删除和成员查询操作，且仅需常数次内存访问。通过从该字典进行规约，作者设计了首个基于内存的、空间高效的完全动态过滤器，支持常数时间操作并具有有界错误命中概率，实现了最优空间使用率和最坏情况性能保证。

ABSTRACT

A fully-dynamic dictionary is a data structure for maintaining sets that supports insertions, deletions and membership queries. A filter approximates membership queries with a one-sided error. We present two designs: 1. The first space-efficient fully-dynamic dictionary that maintains both sets and random multisets and supports queries, insertions, and deletions with a constant number of memory accesses in the worst case with high probability. The comparable dictionary of Arbitman, Naor, and Segev [FOCS 2010] works only for sets. 2. By a reduction from our dictionary for random multisets, we obtain a space-efficient fully-dynamic filter that supports queries, insertions, and deletions with a constant number of memory accesses in the worst case with high probability (as long as the false positive probability is $2^{-O(w)}$, where $w$ denotes the word length). This is the first in-memory space-efficient fully-dynamic filter design that provably achieves these properties. We also present an application of the techniques used to design our dictionary to the static Retrieval Problem.

研究动机与目标

• 设计一个完全动态字典，支持集合和随机多重集，实现最坏情况下的常数时间操作和最优空间使用率。
• 构建一个在最坏情况下以高概率实现常数时间操作的完全动态过滤器。
• 在字典和过滤器上均实现与信息论下界匹配的空间效率。
• 通过使用随机多重集，将动态数据结构的适用范围扩展至具有任意重数的场景。
• 展示所提出的字典在静态检索问题中的新颖应用，实现最优空间和时间复杂度。

提出的方法

• 设计一种新的动态字典——Crate字典，用于随机多重集，结合完美哈希、可变长度字典（VarPD 和 VarCSD）以及口袋旅馆机制处理溢出。
• 使用相对稀疏参数 w = Ω(log n) 控制自适应余数的大小，以确保高概率下的空间界限。
• 应用 Carter 等人 [CFG+78] 的规约方法，将用于随机多重集的 Crate 字典转换为具有有界错误命中概率 ε 的完全动态过滤器。
• 采用双 case 构造：稀疏情况（适用于小的全集与集合比）和稠密情况（适用于大的比值），分别针对空间和访问时间进行优化。
• 在核心数据结构中使用指针存储（ptr(x)）而非余数值（r(x)），以减少空间开销并提升局部性。
• 引入可变长度字典（VarPD 和 VarCSD），用于存储自适应余数，并动态调整大小以在高概率下防止溢出。

实验结果

研究问题

• RQ1 能否设计出一个完全动态字典，用于随机多重集，在最坏情况下以高概率实现常数时间操作和最优空间使用率？
• RQ2 是否可能仅使用内存中的数据结构，构建一个具有常数时间操作和有界错误命中概率的完全动态过滤器，并实现最优空间使用率？
• RQ3 如何利用随机多重集的性质，实现在动态过滤器中常数时间的最坏情况性能？
• RQ4 在最坏输入序列下，维持完全动态字典和过滤器中常数时间操作所需的最小空间开销是多少？
• RQ5 能否将动态字典中使用的技术适配到静态检索问题中，以实现最优空间和时间复杂度？

主要发现

• Crate 字典在每次操作中最多进行 4 · log(|U|/n)/w + O(1) 次内存访问，且以高概率实现插入、删除和查询操作，空间使用量为 (1 + o(1)) · n log(|U|/n) + O(n) 位。
• Crate 过滤器以高概率实现常数时间操作，所需空间为 (1 + o(1)) · n log(1/ε) + O(n) 位，与过滤器的信息论下界完全匹配。
• 对于任意多项式长度的操作序列，该字典以高概率不会发生溢出，确保在最坏工作负载下具有鲁棒性。
• 从 Crate 字典到 Crate 过滤器的规约保证了错误命中概率被控制在 ε 以内，符合要求。
• 基于 Crate 字典构建的静态检索数据结构在 k = O(log log n) 时使用 (1 + o(1)) · nk + O(n) 位空间，在 k = ω(log log n) 时使用 (1 + o(1)) · nk 位空间，实现了检索问题的最优空间复杂度。
• 该数据结构的构建过程以高概率在 O(n) 时间内完成，若发生溢出则采用重哈希策略。