[论文解读] A Fast, Minimal Memory, Consistent Hash Algorithm

John Lamping, Eric Veach|arXiv (Cornell University)|Jun 9, 2014

Caching and Content Delivery参考文献 3被引用 32

一句话总结

本文提出 Jump Consistent Hash，一种最小内存占用、时间复杂度为 O(log n) 的一致哈希算法，仅需寄存器存储，无需持久化存储。该算法通过在桶索引上进行伪随机游走，实现动态桶大小调整时的负载均衡与最小数据移动，其速度与内存效率优于 Karger 等人的算法，同时保持了强大的负载均衡特性。

ABSTRACT

This paper proposes round-hashing, which is suitable for data storage on distributed servers and for implementing external-memory tables in which each lookup retrieves at most one single block of external memory, using a stash. For data storage, round-hashing is like consistent hashing as it avoids a full rehashing of the keys when new servers are added. Experiments show that the speed to serve requests is tenfold or more than the state of the art. In distributed data storage, this guarantees better throughput for serving requests and, moreover, greatly reduces decision times for which data should move to new servers as rescanning data is much faster.

研究动机与目标

• 设计一种一致哈希算法，在保持负载均衡与桶大小动态调整时低数据移动的前提下，最小化内存使用。
• 解决 Karger 等人一致哈希算法内存开销过高的问题，该算法每个分片需占用数千字节以实现公平分布。
• 实现高效、可扩展的数据存储系统，其中分片按顺序添加且必须保持持久性。
• 降低大规模存储系统中频繁重新配置时一致哈希的计算与内存成本。

提出的方法

• 该算法在桶索引上执行伪随机游走，从 0 开始，仅在满足随机阈值时才向前推进。
• 对于每个桶索引 j，通过将哈希派生的随机值与 1/(j+1) 比较，判断是否跳转至 j，以确保正确的跳转概率。
• 关键洞见在于：跳转条件基于 64 位密钥与一个乘法常数（2862933555777941757ULL），随后通过位移与浮点数除法计算下一个跳转点。
• 当下一个桶将超出目标桶数时，循环终止，返回最后一个有效桶索引。
• 该算法在 5 行以内的 C++ 代码中实现，仅使用整数与浮点数运算。
• 其设计利用了在数据存储系统中，桶按顺序添加且永不删除的特性，从而实现更简单、无状态的结构。

实验结果

研究问题

• RQ1 能否设计一种一致哈希算法，在最小化内存使用的同时，保持强负载均衡性与桶大小调整时的低数据移动？
• RQ2 如何从数学上界定键重新分配的概率，以确保其在桶之间均匀分布？
• RQ3 一种避免预计算数据结构的一致哈希算法的理论时间复杂度是多少？
• RQ4 在真实内存访问模式下，无状态、低内存占用的一致哈希算法与现有方法相比性能如何？
• RQ5 能否设计一种既简单又高效的一致哈希算法，适用于大规模数据存储系统中的生产环境？

主要发现

• Jump Consistent Hash 实现了 O(log n) 的时间复杂度，显著快于 Karger 等人 O(n) 或 O(log n) 变体，且内存开销极高。
• 在最多 1000 个桶时，该算法比 Karger 等人实现快 3–4 倍（每桶 1000 个点）；在最多 100,000 个桶时，快 5–8 倍。
• 在存在内存缓存竞争的环境中，Jump Consistent Hash 保持性能稳定，而 Karger 的实现因缓存未命中导致性能急剧下降。
• Karger 算法的初始化时间随桶数快速增长——当桶数为 65,536 且每桶 1000 个点时，初始化时间超过 110 秒；而 Jump Consistent Hash 无需初始化。
• 该算法仅使用少量寄存器，无需持久化存储，将内存使用从 Karger 方法的千兆字节级别降至可忽略水平。
• 实证结果表明，与每桶 1000 个点的 Karger 算法相比，Jump Consistent Hash 在键分布的标准差上表现更优，即负载均衡性更优。