[論文レビュー] ASURA: Scalable and Uniform Data Distribution Algorithm for Storage Clusters

Ken-ichiro Ishikawa|arXiv (Cornell University)|Sep 30, 2013

Advanced Data Storage Technologies参考文献 24被引用数 11

ひとこと要約

ASURA は、ノードの追加／削除時のデータ移動を最小限に抑え、計算時間が1マイクロ秒未塔、データ分散のばらつきが1%未塔を維持し、ノード容量を考慮するスケーラブルで一様なストレージクラスタ用のデータ分散アルゴリズムである。大規模ストレージシステムにおける負荷分散と高いパフォーマンスを実現するため、ランダム化された容量に配慮したハッシュ化手法を採用している。

ABSTRACT

Large-scale storage cluster systems need to manage a vast amount of data locations. A naive data locations management maintains pairs of data ID and nodes storing the data in tables. However, it is not practical when the number of pairs is too large. To solve this problem, management using data distribution algorithms, rather than management using tables, has been proposed in recent research. It can distribute data by determining the node for storing the data based on the datum ID. Such data distribution algorithms require the ability to handle the addition or removal of nodes, short calculation time and uniform data distribution in the capacity of each node. This paper proposes a data distribution algorithm called ASURA (Advanced Scalable and Uniform storage by Random number Algorithm) that satisfies these requirements. It achieves following four characteristics: 1) minimum data movement to maintain data distribution according to node capacity when nodes are added or removed, even if data are replicated, 2) roughly sub-micro-seconds calculation time, 3) much lower than 1% maximum variability between nodes in data distribution, and 4) data distribution according to the capacity of each node. The evaluation results show that ASURA is qualitatively and quantitatively competitive against major data distribution algorithms such as Consistent Hashing, Weighted Rendezvous Hashing and Random Slicing. The comparison results show benefits of each algorithm; they show that ASURA has advantage in large scale-out storage clusters.

研究の動機と目的

• 動的ノード構成を有する大規模ストレージクラスタの管理におけるスケーラビリティと効率性の課題に対処すること。
• ノードの追加または削除時におけるデータ移動を低減しつつ、ノード間で均一なデータ分散を維持すること。
• 高スループットのストレージシステムをサポートするため、データ位置特定の低遅延計算を実現すること。
• データ分散をノード容量に比例させることで、リソース利用効率を向上させること。
• 大規模環境において従来のアルゴリズム（一貫性ハッシュ、加重リンドバウムハッシュ）の代替として堅牢な代替手段を提供すること。

提案手法

• ノードの重みに基づいてデータIDをストレージノードにマッピングする、ランダム化され容量に配慮したハッシュメカニズムを提案する。
• 均等な分散を保証するため、ノード割り当てを決定する一様なランダム番号生成戦略を採用する。
• ノード容量を組み込んだ変更済みハッシュ関数を適用し、負荷を比例的にバランスさせる。
• ランダム化を活用して再配布を制限することで、ノード追加・削除時のデータ再割当を最小限に抑え、データ移動を最小限に抑える。
• サブマイクロ秒の検索時間に対応できるコンactで決定論的な計算モデルを採用する。
• 複数のレプリカを異なるノードに割り当てるようにアルゴリズムを拡張し、負荷バランスを維持しながらデータレプリケーションをサポートする。

実験結果

リサーチクエスチョン

• RQ1 動的ノード構成下で、ストレージクラスタのデータ分散をどのようにしてスケーラブルかつ一様に保てるか？
• RQ2 ノード追加または削除時に、負荷バランスを維持しつつ必要な最小限のデータ移動量はどの程度か？
• RQ3 ハッシュベースのアルゴリズムが、データ位置マッピングのためのサブマイクロ秒未塔の計算時間を達成できるか？
• RQ4 異なる容量のノード間で、データ分散のばらつきを1%未塔にまで低減できるか、その程度はどの程度か？
• RQ5 従来のアルゴリズム（一貫性ハッシュ、加重リンドバウムハッシュ）と比較して、提案アルゴリズムのパフォーマンスとスケーラビリティはどの程度か？

主な発見

• ASURA はノード間で最大1%未塔のデータ分散ばらつきを達成し、一貫性の高い分散性において従来手法を大きく上回っている。
• ノード追加・削除時のデータ移動が最小限に抑えられ、再配置が必要なデータはわずかに抑えられている。
• データ位置マッピングの計算時間は常に1マイクロ秒未塔であり、高スループット処理を可能にしている。
• ノード容量に応じたデータ分散を効果的にバランスさせ、リソース利用効率を向上させている。
• 評価では、ASURA は一貫性ハッシュ、加重リンドバウムハッシュ、ランダムスライシングの各手法を大規模クラスタ展開において上回っている。
• ノードの高頻度な入れ替え（churn）やレプリケーション環境下でも、ASURA は強固なパフォーマンスと一様性を維持している。