[論文レビュー] On Universal Scaling of Distributed Queues under Load Balancing

Xin Liu, Lei Ying|arXiv (Cornell University)|Dec 26, 2019

Advanced Queuing Theory Analysis参考文献 27被引用数 14

ひとこと要約

本稿は、$ \alpha \in [0.5,1) $ の範囲で、重負荷状態における分散キューイングシステムにおけるロードバランシングの下で、普遍的なスケーリング則を確立している。JSQ、I1F、および十分なサンプリングを伴うd-選択法のアルゴリズムは、漸近的にゼロに近い待機時間とほぼ最適なリソース利用率を達成することが示されている。一般のロードバランシングアルゴリズムのクラスにおいて、2つのジョブを持つサーバーの数は $ O(N^\alpha \log N) $ に比例し、3つ以上のジョブを持つサーバーはまれであることが証明されている。

ABSTRACT

This paper considers the steady-state performance of load balancing algorithms in a many-server system with distributed queues. The system has $N$ servers, and each server maintains a local queue with buffer size $b-1,$ i.e. a server can hold at most one job in service and $b-1$ jobs in the queue. Jobs in the same queue are served according to the first-in-first-out (FIFO) order. The system is operated in a heavy-traffic regime such that the workload per server is $λ= 1 - N^{-α}$ for $0.5\leq α<1.$ We identify a set of algorithms such that the steady-state queues have the following universal scaling, where {\em universal} means that it holds for any $α\in[0.5,1)$: (i) the number of of busy servers is $λN-o(1);$ and (ii) the number of servers with two jobs (one in service and one in queue) is $O(N^α\log N);$ and (iii) the number of servers with more than two jobs is $O\left(\frac{1}{N^{r(1-α)-1}} ight),$ where $r$ can be any positive integer independent of $N.$ The set of load balancing algorithms that satisfy the sufficient condition includes join-the-shortest-queue (JSQ), idle-one-first (I1F), and power-of-$d$-choices (Po$d$) with $d\geq N^α\log^2 N.$ We further argue that the waiting time of such an algorithm is near optimal order-wise.

研究の動機と目的

• 大規模なデータセンターにおける分散キューとロードバランシングの下で、重負荷状態における負荷分散アルゴリズムの定常状態性能を特徴づけること。
• パrameter $ \alpha \in [0.5,1) $ でパrameter化された異なる重負荷状態の下で、普遍的なスケーリング特性を達成する広範なロードバランシングアルゴリズムのクラスを同定すること。
• Steinの方法とリャプノフドリフトを用いて、キュー長メトリクスのモーメントバウンドを確立し、待機時間とブロッキング確率の分析を可能にすること。
• 同じクラスのアルゴリズムの下で、2つ以上のジョブを持つサーバーの数が漸近的に無視できるほど少なく、2つのジョブを持つサーバーの数が $ O(N^\alpha \log N) $ に比例することを示すこと。
• 待機時間と待機確率が $ O(\log N / N^{1-\alpha}) $ であり、$ N \to \infty $ のとき $ \alpha < 1 $ であればゼロに近づくこと。

提案手法

• Steinの方法とリャプノフドリフトによる状態空間崩壊（SSC）を用いて、少なくとも $ i $ 個のジョブを持つサーバー数のモーメントバウンドを導出する。
• JSQ、I1F、および $ d \geq N^\alpha \log^2 N $ のd-選択法を含む、ロードバランシングアルゴリズム（$ \Pi $ と表記）の十分条件を適用する。
• 各 $ S_i $（少なくとも $ i $ 個のジョブを持つサーバーの割合）を用いて、$ \max\left\{ \sum_{i=1}^b S_i - 1 - \frac{k \log N}{N^{1-\alpha}}, 0 \right\} $ の $ r $ 階モーメントの上界を導出する。
• Littleの法則と作業保存性を用いて、キュー長モーメントと期待待機時間・ブロッキング確率を関連付ける。
• Markovの不等式と条件付き期待値のバウンドを用いて、キュー長およびブロッキングイベントの尾確率を制御する。
• モーメントバウンドと確率的集中の議論を組み合わせることで、待機時間および待機確率の漸近的バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 重負荷状態で $ \alpha \in [0.5,1) $ のとき、分散キューのロードバランシング下での定常状態の挙動はいかなるものか？
• RQ2 どのロードバランシングアルゴリズムが、システムサイズ $ N $ に依存せずに、異なる $ \alpha \in [0.5,1) $ において普遍的なスケーリングを達成するか？
• RQ3 2つのジョブを持つサーバーの数は $ N $ に対してどのようにスケーリングするか？ また、3つ以上のジョブを持つサーバーの頻度は漸近的にどの程度か？
• RQ4 同定されたアルゴリズムクラスの下で、待機時間および待機確率の漸近的挙動はいかなるものか？
• RQ5 キュー長メトリクスのモーメントバウンドは、待機時間およびブロッキング確率のバウンドにどのように対応するか？

主な発見

• ビジー状態のサーバー数は $ \lambda N - o(1) $ であり、$ \Pi $ に属するいかなるアルゴリズムに対しても、ほぼ完全なリソース利用率を示している。
• 正確に2つのジョブを持つサーバー数（1つは処理中、1つはキューイング中）は $ O(N^\alpha \log N) $ に比例し、これはキューイング遅延の主な要因である。
• 3つ以上のジョブを持つサーバー数は、任意の正の整数 $ r $ に対して $ O\left( \frac{1}{N^{r(1-\alpha)-1}} \right) $ であるため、漸近的に無視できる。
• 待機確率および平均待機時間は、両方とも $ O\left( \frac{\log N}{N^{1-\alpha}} \right) $ であり、$ N \to \infty $ のとき $ \alpha < 1 $ であればゼロに近づく。
• 結果は $ \Pi $ のクラス全体に普遍的であり、JSQ、I1F、および $ d \geq N^\alpha \log^2 N $ のd-選択法を含む。
• $ \alpha = 0.5 $ におけるフェーズ遷移（Halfin-Whittの状態）が、分散キュー系においても、単一キュー・多数サーバー系と同様の挙動を示すことが確認された。