[論文レビュー] Self-stabilizing Balls & Bins in Batches

Petra Berenbrink, Tom Friedetzky+4 more|arXiv (Cornell University)|Mar 7, 2016

Distributed systems and fault tolerance参考文献 6被引用数 4

ひとこと要約

本稿では、各ラウンドにλn個のボールが到着し、非空のバインが1つずつボールを削除する、バッチ処理および無限のボール-バインモデルを導入する。これは分散システムにおける動的リクエスト処理をモデル化するものである。Greedy[d]割り当て戦略を分析し、任意の到着率λ < 1に対して、システムが自己安定化することを証明する。d=1の場合、最大負荷はO(1/(1−λ) · log(n/(1−λ)))であり、d=2の場合、O(log(n/(1−λ)))である。Greedy[2]は、高到着率下でGreedy[1]に比べて指数的に優れた負荷分散を達成する。

ABSTRACT

A fundamental problem in distributed computing is the distribution of requests to a set of uniform servers without a centralized controller. Classically, such problems are modeled as static balls into bins processes, where $m$ balls (tasks) are to be distributed to $n$ bins (servers). In a seminal work, Azar et al. proposed the sequential strategy \greedy{d} for $n=m$. When thrown, a ball queries the load of $d$ random bins and is allocated to a least loaded of these. Azar et al. showed that $d=2$ yields an exponential improvement compared to $d=1$. Berenbrink et al. extended this to $m\gg n$, showing that the maximal load difference is independent of $m$ for $d=2$ (in contrast to $d=1$). We propose a new variant of an \emph{infinite} balls into bins process. Each round an expected number of $\lambda n$ new balls arrive and are distributed (in parallel) to the bins. Each non-empty bin deletes one of its balls. This setting models a set of servers processing incoming requests, where clients can query a server's current load but receive no information about parallel requests. We study the \greedy{d} distribution scheme in this setting and show a strong self-stabilizing property: For \emph{any} arrival rate $\lambda=\lambda(n)<1$, the system load is time-invariant. Moreover, for \emph{any} (even super-exponential) round $t$, the maximum system load is (w.h.p.) $O(\frac{1}{1-\lambda}\cdot\log\frac{n}{1-\lambda})$ for $d=1$ and $O(\log\frac{n}{1-\lambda})$ for $d=2$. In particular, \greedy{2} has an exponentially smaller system load for high arrival rates.

研究の動機と目的

• 集中制御のない動的で分散型のリクエスト処理をモデル化すること。リクエストはバッチで到着し、各ラウンドでサーバーは1つのタスクを削除する。
• 無限でバッチベースのボール-バインプロセスにおけるGreedy[d]割り当て戦略の安定性と負荷分布を分析すること。
• 任意の到着率λ < 1の下で、システムが自己安定化することを確立すること。初期状態が任意であっても成立する。
• d=1およびd=2の両方における最大システム負荷を定量的に評価し、バッチ処理および動的環境下での2つの選択肢の優位性を示すこと。

提案手法

• 各ラウンドにλn個のボールが到着し、非空バインが1つずつボールを削除する、バッチ処理および無限のボール-バインプロセスを提案する。
• システム負荷を追跡し収束を分析するためのポテンシャル関数Ψ(X(t))を導入する。これは負荷の不均衡とバインの負荷分布を組み合わせたものである。
• 2段階のポテンシャル関数Γ(X(t)) = Φ(X(t)) + Ψ(X(t))を用いる。Φは負荷の不均衡を測り、Ψはバインの負荷分布を追跡する。
• 負のドリフト解析とHajek型安定性定理を適用し、正再帰性と自己安定化を証明する。
• 集中限界とLambert W関数の近似を用いて、高到着率下での最大負荷を束縛する。
• 2つの選択肢（Greedy[2]）を活用して対数的負荷スケーリングを達成する。これに対してGreedy[1]は線形対数的スケーリングにとどまる。

実験結果

リサーチクエスチョン

• RQ1 並列到着と削除を伴うバッチ処理および無限のボール-バインプロセスが、任意の初期負荷と到着率λ < 1の下で自己安定化するか？
• RQ2 このバッチ処理および動的モデル下で、Greedy[1]戦略の最大システム負荷は何か？ これはnおよびλとどのようにスケーリングするか？
• RQ3 高到着率環境下で、Greedy[2]戦略はGreedy[1]と比較して負荷分布と安定性の点でどのように異なるか？
• RQ4 システムは、指数的に高い負荷状態から始まっても、低最大負荷を維持できるか？ もしそうなら、どの程度の速さで安定化するか？
• RQ5 リクエストが同時に到着し互いに観測できないバッチ処理および並列環境下でも、2つの選択肢の利点を保持・活用できるか？

主な発見

• Greedy[1]について、任意の時点で最大システム負荷は（高確率で）O(1/(1−λ) · log(n/(1−λ)))で有界であり、λ = 1 − 1/nの場合でさえも非線形的になる。
• Greedy[2]について、最大システム負荷は（高確率で）O(log(n/(1−λ)))で有界であり、λ → 1に近づいても対数的スケーリングが維持される。
• システムは自己安定化する：正再帰的であり、任意の（たとえ指数的に巨大な）時刻tにおいても、負荷は（高確率で）低い。これは強い安定性保証を示す。
• 解析によりポテンシャル関数Ψ(X(t))が（高確率で）O(n · log n）であることが証明され、ドリフト解析と組み合わせることで負荷の束縛が確認される。
• Greedy[1]に対して、λ ≤ 1 − 1/poly(n)の下で上界と一致するタイトな下界を確立し、境界のタイトさを確認する。
• 2つの選択肢の利点は、特に高到着率（λ → 1）下で、負荷分布の点で指数的改善をもたらす。これは極めて重要である。