[論文レビュー] Power-of-$d$-Choices with Memory: Fluid Limit and Optimality

Jonatha Anselmi, François Dufour|arXiv (Cornell University)|Feb 19, 2018

Advanced Queuing Theory Analysis参考文献 16被引用数 5

ひとこと要約

本稿では、ディスpatcherがサンプルされたサーバーの最新状態を記憶することで、最も軽負荷のサーバーにジョブをルーティングするメモリ拡張型のpower-of-d-choices負荷分散アルゴリズムを提案する。漸近的最適性を証明：システム負荷λ < 1 − 1/dのとき、フラッド極限においてすべてのジョブが空きサーバーにルーティングされる。それ以外の場合は、キュー長が⌈−log(1−λ)/log(λd+1)⌉できわめて厳密に束縛され、メモリレス版に比べて性能が著しく向上する。

ABSTRACT

In multi-server distributed queueing systems, the access of stochastically arriving jobs to resources is often regulated by a dispatcher, also known as load balancer. A fundamental problem consists in designing a load balancing algorithm that minimizes the delays experienced by jobs. During the last two decades, the power-of-$d$-choice algorithm, based on the idea of dispatching each job to the least loaded server out of $d$ servers randomly sampled at the arrival of the job itself, has emerged as a breakthrough in the foundations of this area due to its versatility and appealing asymptotic properties. In this paper, we consider the power-of-$d$-choice algorithm with the addition of a local memory that keeps track of the latest observations collected over time on the sampled servers. Then, each job is sent to a server with the lowest observation. We show that this algorithm is asymptotically optimal in the sense that the load balancer can always assign each job to an idle server in the large-system limit. This holds true if and only if the system load $λ$ is less than $1-\frac{1}{d}$. If this condition is not satisfied, we show that queue lengths are tightly bounded by $\left\lceil - \frac{ \log (1-λ)}{\log (λd +1)} ight ceil$. This is in contrast with the classic version of the power-of-$d$-choice algorithm, where at the fluid scale a strictly positive proportion of servers containing $i$ jobs exists for all $i\ge 0$, in equilibrium. Our results quantify and highlight the importance of using memory as a means to enhance performance in randomized load balancing.

研究の動機と目的

• 高負荷下における確率的負荷分散の性能ギャップを、power-of-d-choicesフレームワークにメモリを組み込むことで是正すること。
• 動的スケーリングを伴わないdのスケーリングなしに、大規模システム極限においてすべてのジョブを空きサーバーにルーティングする「フラッド最適性」を達成できるかを分析すること。
• メモリの導入が、重交通領域におけるキュー長の境界とシステム安定性に与える影響を定量化すること。
• 定数dを用いたメモリ拡張型負荷分散ポリシーの理論的フラッド極限と最適性結果を確立すること。
• 新規ポリシーの性能を、特にキュー長と安定性の観点から、古典的なメモリレス版のpower-of-d-choicesと比較すること。

提案手法

• 著者らは、拡散スケーリング下での平均場フラッド極限を用いてシステムをモデル化し、i個のジョブを持つサーバーの割合の変化を分析する。
• ジョブルーティングとサンプリングのダイナミクスから導かれる、Rj(t)（j個のジョブを持つサーバー数のフラッド極限）の再帰的フラッド方程式を定義する。
• ディスpatcherは、各ジョブ到着時に、d個のサンプルされたサーバーの中から最も軽負荷のものを最新の観測としてローカルメモリに保持する。
• フィードバックはプッシュベースのメカニズムで収集されると仮定し、時間スケーリングされたプロセス列とマルティンゲールの議論を用いてフラッド極限を導出する。
• 主な技術的ツールとして、経験的測度のフラッド極限への収束を示すために、Azuma–Hoeffding不等式とBorel–Cantelli補題を用いる。
• 証明は、境界条件がメモリ更新ルールから導かれるRj(t)、Rj−1(t)、Rj−2(t)を含む再帰的関係がフラッド極限に満たされることに依存する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型power-of-d-choicesアルゴリズムは、大規模システム極限においてすべてのジョブを空きサーバーにルーティングする「フラッド最適性」を達成できるか？
• RQ2 メモリ拡張型アルゴリズムがすべてのジョブを空きサーバーに割り当てるための臨界負荷閾値λは何か？
• RQ3 メモリレス版のpower-of-d-choicesと比較して、メモリの導入はキュー長の尾部挙動にどのように影響するか？
• RQ4 どのような条件下で、メモリ拡張型アルゴリズムはキュー長の境界において、古典的なpower-of-d-choicesを上回る性能を示すか？
• RQ5 定数dのもとで、メモリ拡張型システムのフラッド極限は安定的かつ解析的に扱いやすいか？

主な発見

• メモリ拡張型power-of-d-choicesアルゴリズムは、システム負荷λが1 − 1/d未満のとき、大規模システム極限においてすべてのジョブを空きサーバーにルーティングする「フラッド最適性」を達成する。
• λ ≥ 1 − 1/dのとき、最大キュー長は⌈−log(1−λ)/log(λd+1)⌉できわめて厳密に束縛され、メモリレス版に比べて著しく小さい。
• メモリレス版のpower-of-d-choicesとは異なり、すべてのi ≥ 0に対して、常に正の割合のサーバーがi個のジョブを持つという恒常的な負荷不均衡は、メモリ拡張型バージョンでは解消される。
• システムのフラッド極限は、Rj(t)、Rj−1(t)、Rj−2(t)を含む再帰的式で支配され、メモリ更新ルールが尾部におけるフラッドダイナミクスをゼロ負荷に収束させる。
• フラッド極限解析により、メモリ機構が、特に安定性閾値付近で古典的なpower-of-d-choicesで観察される恒常的なキューイングを回避できることを確認した。
• 結果として、定数dであっても、メモリによりフラッド最適性が達成可能であることが示され、動的d(N)スケーリングに代わるスケーラブルで通信効率の良い代替手段であることが明らかになった。