[論文レビュー] DxHash: A Scalable Consistent Hash Based on the Pseudo-Random Sequence

Chaos Dong, Fang Wang+1 more|arXiv (Cornell University)|Jul 16, 2021

Caching and Content Delivery参考文献 12被引用数 9

ひとこと要約

DxHash は、擬似乱数列に基づくスケーラブルで状態なしの一貫性ハッシュアルゴリズムであり、ほぼ最適なバランス、最小限の破壊、高い照会スループット（1330万クエリ/秒）、低メモリ使用量（0.125n ～ 5n バイト）、および効率的な更新オーバーヘッドを達成している。スケーラブルな動的スケーリングとチューナブルな擬似乱数ジェネレータを用いた重み付き負荷分散をサポートし、6つの主要指標すべてにおいて最先端の手法を上回っている。

ABSTRACT

Consistent hashing (CH) has been pivotal as a data router and load balancer in diverse fields, including distributed databases, cloud infrastructure, and peer-to-peer networks. However, existing CH algorithms often fall short in simultaneously meeting various critical requirements, such as load balance, minimal disruption, statelessness, high lookup rate, small memory footprint, and low update overhead. To address these limitations, we introduce DxHash, a scalable consistent hashing algorithm based on pseudo-random sequences. To adjust workloads on heterogeneous nodes and enhance flexibility, we propose weighted DxHash. Through comprehensive evaluations, DxHash demonstrates substantial improvements across all six requirements compared to state-of-the-art alternatives. Notably, even when confronted with a 50% failure ratio in a cluster of one million nodes, DxHash maintains remarkable processing capabilities, handling up to 13.3 million queries per second.

研究の動機と目的

• バランス、最小限の破壊、状態なし、高照会スループット、低更新オーバーヘッド、小規模なメモリ使用量を同時に満たさない既存の一貫性ハッシュアルゴリズムのトレードオフを解消すること。
• 100万ノードのクラスタで50％のノード障害が発生するなど極端な状況下でも、高いパフォーマンスを維持できる一貫性ハッシュ方式を設計すること。
• 一貫性とパフォーマンスを保ちながら、動的クラスタスケーリングと重み付き負荷分散を可能にすること。
• 実世界の分散システム（クラウドストレージやP2Pネットワークなど）への実装を想定した実用的でオープンソースの実装を提供すること。

提案手法

• DxHash は、キーをノードに一貫してマッピングするために決定論的な擬似乱数列ジェネレータを用いる。
• 反復的ハッシュを用いて候補ノードを動的に選択することで、Maglev や SACH のようなルックアップテーブルベースの方法と比較してメモリ使用量を削減する。
• 標準的および重み付きハッシュの両方をサポート：重み付き DxHash では、ノードに異なる重みを割り当てることで負荷分散を比例的に制御できる。
• ノードの追加・削除といった更新操作は、擬似乱数列を用いて影響を受けるキーのマッピングのみを再計算することで効率的に処理され、破壊を最小限に抑える。
• 照会の計算量は O(n/a) であり、n はノード総数、a はアクティブノード数である。このため、高い障害率下でも高いパフォーマンスを発揮できる。
• メモリ使用量は n/8 ～ 5n バイトの範囲に制限され、Maglev (4m) や SACH (4m) よりも顕著に小さく、高スループットを維持している。

実験結果

リサーチクエスチョン

• RQ1 一貫性ハッシュアルゴリズムが、ほぼ最適なバランス、最小限の破壊、状態なし、高照会スループット、低更新オーバーヘッド、小規模なメモリ使用量を同時に達成できるか。
• RQ2 DxHash は、100万ノードのクラスタで50％のノード障害が発生するような極端なノード障害状況下でも、どのように動作するか。
• RQ3 DxHash は、パフォーマンスと低リマップオーバーヘッドを維持しながら、クラスタの拡大・縮小を動的にサポートできるか。
• RQ4 重み付き DxHash は、ノードの重みに比例した正確で定量的な負荷分散を実現できるか。
• RQ5 Maglev や SACH、AnchorHash といった最先端のアルゴリズムと比較して、DxHash のパフォーマンスとメモリ効率はどの程度か。

主な発見

• DxHash は、100万ノードのクラスタで50％のノードが障害した状態でも、ピーク照会スループットが1330万クエリ/秒に達し、優れた耐障害性を示している。
• 100万ノードのクラスタで10％のノードがアクティブな状況下でも、DxHash は1秒間に435万キーオブザーブし、アクティブ比が低い状況下で AnchorHash よりも100倍以上も高速である。
• 重み付き DxHash は、理論的期待値からの誤差が0.1％未満に収まり、ノードの重みに比例した正確なワークロード分散制御が可能であることを確認した。
• DxHash のメモリ使用量は n/8 ～ 5n バイトの範囲に収まり、Maglev (4m) や SACH (4m) より顕著に小さく、O(n/a) の照会計算量を維持している。
• DxHash のスリーニング操作は、クラスタの上限を動的に調整することで照会パフォーマンスを向上させ、アクティブ比を向上させ、検索長を短くする。
• DxHash は挿入および削除の両方において状態なしであり、履歴的な操作順序の維持が不要となり、メモリアクセスのオーバーヘッドが削減される。