[论文解读] A Space-Efficient Dynamic Dictionary for Multisets with Constant Time Operations

Ioana O. Bercea, Guy Even|arXiv (Cornell University)|May 5, 2020

Caching and Content Delivery参考文献 27被引用 4

一句话总结

本论文提出了首个在空间效率上最优的动态多重集合字典，支持所有操作——插入、删除和多重性查询——在高概率下达到最坏情况下的常数时间。其通过引入一种新颖的技术，利用对数加权的球入箱实验，高效存储可变长度的二进制计数器，从而解决了Arbitman等人（2010年）提出的一个开放问题。

ABSTRACT

We consider the dynamic dictionary problem for multisets. Given an upper bound $n$ on the total cardinality of the multiset (i.e., including multiplicities) at any point in time, the goal is to design a data structure that supports multiplicity queries and allows insertions and deletions to the multiset (i.e., the dynamic setting). The data structure must be space-efficient (the space is $1+o(1)$ times the information-theoretic lower bound) and support all operations in constant time with high probability. In this paper, we present the first dynamic dictionary for multisets that achieves these performance guarantees. This answers an open problem of Arbitman, Naor and Segev (FOCS 2010). The previously best-known construction of Pagh, Pagh and Rao (SODA 2005) supports membership in constant time, multiplicity queries in $O(\log n)$ time in the worst case, and insertions and deletions in constant expected amortized time. The main technical component of our solution is a strategy for efficiently storing variable-length binary counters using weighted balls-into-bins experiments in which balls have logarithmic weights. We also obtain a counting filter that approximates multiplicity queries with a one sided error, using the reduction of Carter et al. (STOC 1978). Counting filters have received significant attention over the years due to their applicability in practice.We present the first counting filter with constant time operations.

研究动机与目标

• 设计一个空间效率高的动态多重集合字典，支持所有操作在高概率下达到最坏情况常数时间。
• 解决Arbitman、Naor和Segev（2010年）提出的开放问题：是否能够实现常数时间动态多重集合字典并达到最优空间使用。
• 将现有技术从摊销时间或期望时间推进到高概率下的最坏情况常数时间，优于先前具有$O(\log n)$多重性查询时间的构造。
• 构建一个具有常数时间操作和单边误差的计数过滤器，以动态多重集合字典作为核心组件。
• 实现空间使用量在信息论下界$1+o(1)$倍以内，即$n\log(u/n) + \Theta(n)$比特。

提出的方法

• 利用一种加权球入箱模型，其中球具有对数权重，以高效表示可变长度的二进制计数器。
• 使用$k$-wise $\delta$-依赖排列将全域划分为$M$个部分，以高概率确保负载均衡。
• 采用基于$k'$-wise独立哈希函数的伪随机划分方案，将元素映射到各部分，同时保持负载均衡。
• 应用$k'$-wise独立随机变量的Chernoff界，证明每个部分的多重集合基数以高概率被限制在$n^{1/10} + n^{3/40}\log^{3/2}n$以内。
• 为高重数元素（≥ $\log^3 n$）引入备用存储，以维持常数时间操作。
• 通过元素到指纹的两两独立哈希，将计数过滤器问题转化为多重集合字典问题，实现具有单边误差的常数时间近似多重性查询。

实验结果

研究问题

• RQ1 能否构建一个动态多重集合字典，使其在高概率下支持所有操作达到最坏情况常数时间，同时保持空间效率？
• RQ2 是否可能在维持常数时间操作的同时，实现空间使用量在信息论下界$1+o(1)$倍以内？
• RQ3 能否将Arbitman等人（2010年）在集合上使用的技术扩展到处理具有任意重数的多重集合？
• RQ4 在伪随机划分方案下，每个分区中多重集合的最大基数是多少？能否以高概率对其进行有界？
• RQ5 能否构建一个具有常数时间操作和单边误差的计数过滤器，以动态多重集合字典作为构建模块？

主要发现

• 所提出的动态多重集合字典在高概率下支持所有操作——插入、删除和多重性查询——达到最坏情况常数时间。
• 空间使用量为信息论下界$1+o(1)$倍，即$n\log(u/n) + \Theta(n)$比特，实现了最优空间效率。
• 在划分后，每个多重集合部分的基数以高概率被限制在$n^{1/10} + n^{3/40}\log^{3/2}n$以内，确保了负载均衡。
• 该构造引入了一种新颖的加权球入箱模型，使用对数权重球来表示可变长度计数器，实现了高效存储。
• 构建了一个计数过滤器，空间使用量为$O(n\log(1/\varepsilon))$比特，支持常数时间操作，单边误差被控制在$\varepsilon$以内。
• 本研究通过提供首个同时具备最优空间和最坏情况常数时间操作的动态多重集合字典，解决了Arbitman、Naor和Segev（2010年）提出的开放问题。