[论文解读] Fully De-Amortized Cuckoo Hashing for Cache-Oblivious Dictionaries and Multimaps

Michael T. Goodrich, Daniel S. Hirschberg+2 more|arXiv (Cornell University)|Jul 21, 2011

Algorithms and Data Compression参考文献 36被引用 9

一句话总结

本文提出了一种完全去均摊化的缓存无关字典和多重映射的Cuckoo哈希方案，所有操作（查找、插入、删除及多重映射特有操作）在高概率或极高概率下均实现最坏情况O(1)时间复杂度。该方法采用嵌套Cuckoo哈希结构，并配备超大尺寸的辅助stash表，从而在无需针对块大小、内存层次结构或失败阈值进行调参的情况下，实现可忽略的失败概率。

ABSTRACT

A dictionary (or map) is a key-value store that requires all keys be unique, and a multimap is a key-value store that allows for multiple values to be associated with the same key. We design hashing-based indexing schemes for dictionaries and multimaps that achieve worst-case optimal performance for lookups and updates, with a small or negligible probability the data structure will require a rehash operation, depending on whether we are working in the the external-memory (I/O) model or one of the well-known versions of the Random Access Machine (RAM) model. One of the main features of our constructions is that they are \emph{fully de-amortized}, meaning that their performance bounds hold without one having to tune their constructions with certain performance parameters, such as the constant factors in the exponents of failure probabilities or, in the case of the external-memory model, the size of blocks or cache lines and the size of internal memory (i.e., our external-memory algorithms are cache oblivious). Our solutions are based on a fully de-amortized implementation of cuckoo hashing, which may be of independent interest. This hashing scheme uses two cuckoo hash tables, one "nested" inside the other, with one serving as a primary structure and the other serving as an auxiliary supporting queue/stash structure that is super-sized with respect to traditional auxiliary structures but nevertheless adds negligible storage to our scheme. This auxiliary structure allows the success probability for cuckoo hashing to be very high, which is useful in cryptographic or data-intensive applications.

研究动机与目标

• 设计完全去均摊化的字典和多重映射数据结构，确保所有操作的O(1)最坏情况时间复杂度。
• 消除在外部内存和主存模型中对性能参数调优的需求（例如失败概率指数、块大小B、内存大小M）。
• 在不预先指定失败概率指数中常数的情况下，实现高概率或极高概率保证（1 - 1/poly(n) 或 1 - 1/n^ω(1)）。
• 在外部内存中支持高效的多重映射操作，如getAll和removeAll，并实现最优I/O复杂度。
• 设计一种缓存无关的解决方案，在不显式知晓块大小B或内部内存大小M的情况下，适用于各种内存层次结构。

提出的方法

• 采用嵌套Cuckoo哈希结构，包含两个表：外层Cuckoo表和内层作为stash/队列的辅助表。
• 对键值数组采用重建技术：当数组达到半满时，分配一个双倍大小的新数组，并在每次访问时逐次复制两个元素。
• 维护一个交叉索引i_A以跟踪复制进度，确保在下一次重新分配前完成重建。
• 采用受Fredman和Willard的q-堆启发的原子stash机制，支持辅助结构中快速、去均摊化的操作。
• 将去均摊化技术应用于键值数组中的插入和删除操作，确保每次操作的最坏情况时间复杂度为O(1)。
• 通过不在算法中硬编码块大小B或内存大小M，使外部内存版本实现缓存无关性。

实验结果

研究问题

• RQ1 我们能否设计一种完全去均摊化的Cuckoo哈希方案，确保所有字典和多重映射操作的O(1)最坏情况时间复杂度，且无需调优失败概率参数？
• RQ2 是否可能在缓存无关的前提下，实现外部内存操作的O(1) I/O复杂度，且独立于块大小B或内存大小M？
• RQ3 如何对多重映射结构中的数组操作进行去均摊化，以确保add和remove操作的最坏情况时间复杂度为O(1)？
• RQ4 Cuckoo哈希中的辅助stash能否被设计为在不显著增加空间使用的情况下实现可忽略的失败概率？
• RQ5 我们能否在外部内存中实现高效的getAll和removeAll操作，且I/O复杂度为O(1 + n_k/B)，而无需依赖对B的了解？

主要发现

• 所提出的字典结构在实用主存模型中，所有操作（查找、插入、删除）均以高概率实现O(1)最坏情况时间复杂度。
• 在外部内存、标准主存和AC₀主存模型中，该方案以极高概率实现所有操作的O(1)最坏情况时间复杂度。
• 多重映射结构在极高概率下实现getAll(k)操作的I/O复杂度为O(1 + n_k/B)，removeAll(k)操作的I/O复杂度为O(n_k)，且完全为缓存无关。
• 去均摊化技术通过每次访问时增量式地复制两个元素，确保每个add(k,v)和remove(k,v)操作在O(1)最坏情况时间内完成。
• 嵌套Cuckoo哈希结构配合超大尺寸辅助表，实现了可忽略的失败概率，且无需对失败指数进行参数调优。
• 该方案使用线性空间，支持在线操作，且所有界限均无需预先知晓序列长度或性能参数。