[论文解读] ASURA: Scalable and Uniform Data Distribution Algorithm for Storage Clusters

Ken-ichiro Ishikawa|arXiv (Cornell University)|Sep 30, 2013

Advanced Data Storage Technologies参考文献 24被引用 11

一句话总结

ASURA 是一种可扩展且均匀的数据分发算法，适用于存储集群，能够在节点增减时最小化数据移动，确保亚微秒级的计算时间，保持低于1%的分布差异性，并考虑节点容量。它采用随机化、容量感知的哈希方法，在大规模存储系统中实现负载均衡和高性能。

ABSTRACT

Large-scale storage cluster systems need to manage a vast amount of data locations. A naive data locations management maintains pairs of data ID and nodes storing the data in tables. However, it is not practical when the number of pairs is too large. To solve this problem, management using data distribution algorithms, rather than management using tables, has been proposed in recent research. It can distribute data by determining the node for storing the data based on the datum ID. Such data distribution algorithms require the ability to handle the addition or removal of nodes, short calculation time and uniform data distribution in the capacity of each node. This paper proposes a data distribution algorithm called ASURA (Advanced Scalable and Uniform storage by Random number Algorithm) that satisfies these requirements. It achieves following four characteristics: 1) minimum data movement to maintain data distribution according to node capacity when nodes are added or removed, even if data are replicated, 2) roughly sub-micro-seconds calculation time, 3) much lower than 1% maximum variability between nodes in data distribution, and 4) data distribution according to the capacity of each node. The evaluation results show that ASURA is qualitatively and quantitatively competitive against major data distribution algorithms such as Consistent Hashing, Weighted Rendezvous Hashing and Random Slicing. The comparison results show benefits of each algorithm; they show that ASURA has advantage in large scale-out storage clusters.

研究动机与目标

• 解决在动态节点配置下大规模存储集群管理中的可扩展性和效率挑战。
• 在添加或移除节点时减少数据移动，同时保持节点间数据分布的均匀性。
• 实现低延迟的数据定位计算时间，以支持高吞吐量的存储系统。
• 确保数据分布与节点容量成比例，提高资源利用率。
• 为大规模环境提供一种稳健的替代方案，优于现有算法如一致性哈希和加权rendezvous哈希。

提出的方法

• 提出一种随机化、容量感知的哈希机制，根据节点权重将数据ID映射到存储节点。
• 采用统一的随机数生成策略确定节点分配，确保分布均匀。
• 应用一种改进的哈希函数，整合节点容量以实现负载的成比例均衡。
• 通过仅重新分配部分数据来最小化数据移动，利用随机化限制数据重分布。
• 采用紧凑、确定性的计算模型，实现亚微秒级的查找时间。
• 通过将算法扩展以在不同节点上分配多个副本，支持数据复制，同时保持负载均衡。

实验结果

研究问题

• RQ1 在动态节点配置下，如何使存储集群中的数据分发既可扩展又均匀？
• RQ2 在添加或移除节点时，为保持负载均衡，所需最小数据移动量是多少？
• RQ3 基于哈希的算法能否实现数据定位映射的亚微秒级计算时间？
• RQ4 在容量不同的节点上，数据分布差异性可降低到1%以下的多大程度？
• RQ5 与一致性哈希和加权rendezvous哈希等成熟算法相比，所提出的算法在性能和可扩展性方面表现如何？

主要发现

• ASURA 在节点间的数据分布差异性最大低于1%，在均匀性方面显著优于传统方法。
• 在节点添加或移除时，数据移动被最小化，仅需重新定位少量数据。
• 数据定位映射的计算时间始终低于一微秒，支持高吞吐量操作。
• 该算法能有效根据节点容量平衡数据分布，确保高效的资源利用率。
• 评估结果表明，ASURA 在大规模集群部署中优于一致性哈希、加权rendezvous哈希和随机切片算法。
• ASURA 在高节点更换率和复制场景下仍能保持优异的性能和均匀性。