[論文レビュー] Multi-probe consistent hashing

Ben Appleton, Michael O’Reilly|arXiv (Cornell University)|May 1, 2015

Algorithms and Data Compression被引用数 12

ひとこと要約

本稿では、各ノードあたり $O(1)$ のメモリと、1回の参照あたり $O(1/ uarepsilon)$ の時間で、ピーク負荷と平均負荷比が $1+\varepsilon$ に抑えられる、マルチプローブ一貫性ハッシュの新規アルゴリズムを提案する。キーを複数回ハッシュし、ハッシュリング上の最も近いノードに割り当てる仕組みにより、仮想ノードや事前計算された階層構造を必要とせず、効果的な負荷分散を実現する。

ABSTRACT

We describe a consistent hashing algorithm which performs multiple lookups per key in a hash table of nodes. It requires no additional storage beyond the hash table, and achieves a peak-to-average load ratio of 1 + epsilon with just 1 + 1/epsilon lookups per key.

研究の動機と目的

• ナイーブなハッシュ方式下で $\Theta(\ln n)$ に達する可能性がある、従来の一貫性ハッシュ方式における高いピーク対平均負荷比を是正すること。
• 近似的に最適なピーク対平均負荷比を達成しつつ、$O(n)$ のメモリ、$O(1)$ の amortized 更新時間、$O(1)$ の参照時間を持つ一貫性ハッシュアルゴリズムを設計すること。
• リング一貫性ハッシュ（高メモリ使用） やジャンプ一貫性ハッシュ（ノード削除をサポートしない）といった既存手法の制限を克服し、効率的で一貫性がありスケーラブルな負荷分散を実現すること。
• 大規模なノード数にまでスケーリング可能な、リング一貫性ハッシュの実用的代替案を提供すること。

提案手法

• 各キー $K$ 回を単位リングにハッシュし、その $K$ 個のキーのハッシュ値のうち最も近いノードにキーを割り当てる。
• 物理ノードを1つのハッシュテーブルに格納することで、仮想ノードの必要性を排除し、メモリオーバーヘッドを低減する。
• ポisson過程の統計的性質と指数的間隔の特性を活用し、$K=2$ プローブで最大負荷を制限する。
• $K \geq 2$ かつ $K \ll \sqrt{n}/\ln n$ の場合、期待されるピーク負荷は $\frac{K}{K-1} \cdot \frac{1}{n} + o(1/n)$ であり、$K=1+1/\varepsilon$ とすることでピーク対平均比が $1+\varepsilon$ に保証される。
• 挿入・削除操作を $O(1)$ の amortized 時間で行い、一貫性を維持する。
• 事前に合意された階層構造や事前計算された構造を避けることで、動的ノード集合を持つ分散システムへの導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 $O(n)$ のメモリと $O(1)$ の amortized 更新時間で、ピーク対平均負荷比が $1+\varepsilon$ に抑えられる一貫性ハッシュが可能か？
• RQ2 仮想ノードを一切使わず、キーあたり $O(1)$ の追加プローブで、ピーク対平均負荷比を $\Theta(\ln n)$ から $O(1)$ に低下させることは可能か？
• RQ3 マルチプローブ一貫性ハッシュは、メモリ使用量、初期化時間、更新パフォーマンスの面でリング一貫性ハッシュと比べてどう異なるか？
• RQ4 任意のノード削除をサポートしながら、負荷分散と一貫性を維持できるか？
• RQ5 2プローブ（$K=2$）を使用する場合、負荷分散と参照時間のトレードオフはどのようになるか？

主な発見

• 2プローブ（$K=2$）の場合、期待されるピーク対平均負荷比は2で抑えられ、実際には $350-600$ ns のキー割り当て時間で $1.05$ の比を達成する。
• アルゴリズムは $O(n)$ のメモリのみを必要とし、各ノードを1回だけハッシュテーブルに格納する。挿入・削除操作は $O(1)$ の amortized 時間で実行可能である。
• ノード1つあたりの初期化時間は、100,000ノードまで約40 nsで一定であり、リング一貫性ハッシュとは対照的に、初期化時間が $O(n \ln n / \varepsilon^2)$ と急激に増加するという問題を回避する。
• 参照時間は $O(1/\varepsilon)$ であり、$\varepsilon=0.05$ の場合、1キーあたり $O(1)$ 時間で安定し、100,000ノードでも安定している。
• 更新時間は $O(1)$ の amortized 時間であり、リング一貫性ハッシュに比べて著しく優れている。リング一貫性ハッシュは更新1回あたり桁違いに時間がかかる。
• 定数のメモリおよび初期化オーバーヘッドのおかげで、リング一貫性ハッシュより大規模なノード集合にもスケーリング可能であり、大規模分散システムに適している。