[論文レビュー] Load Balancing in the Non-Degenerate Slowdown Regime

Varun Gupta, Neil Walton|arXiv (Cornell University)|Jul 6, 2017

Advanced Queuing Theory Analysis参考文献 34被引用数 6

ひとこと要約

この論文は、システムサイズが増大する際、余剰サーバー数が固定される多サーバー漸近的枠組み「非退化遅延（NDS）」におけるジョイン・ザ・ショーテスト・キュー（JSQ）負荷分散ポリシーの新しい分析を提示する。JSQの拡散近似を導出し、JSQと集中型キューイングの間の15%のパフォーマンスギャップを定量化するとともに、通信オーバーヘッドを大幅に削減した低コストポリシー「アイドルワンファースト（I1F）」を提案。I1FはJSQと同等の漸近的パフォーマンスを達成する。

ABSTRACT

We analyse Join-the-Shortest-Queue in a contemporary scaling regime known as the Non-Degenerate Slowdown regime. Join-the-Shortest-Queue (JSQ) is a classical load balancing policy for queueing systems with multiple parallel servers. Parallel server queueing systems are regularly analysed and dimensioned by diffusion approximations achieved in the Halfin-Whitt scaling regime. However, when jobs must be dispatched to a server upon arrival, we advocate the Non-Degenerate Slowdown regime (NDS) to compare different load-balancing rules. In this paper we identify novel diffusion approximation and timescale separation that provides insights into the performance of JSQ. We calculate the price of irrevocably dispatching jobs to servers and prove this to within 15% (in the NDS regime) of the rules that may manoeuvre jobs between servers. We also compare ours results for the JSQ policy with the NDS approximations of many modern load balancing policies such as Idle-Queue-First and Power-of-$d$-choices policies which act as low information proxies for the JSQ policy. Our analysis leads us to construct new rules that have identical performance to JSQ but require less communication overhead than power-of-2-choices.

研究の動機と目的

• ジョイン・ザ・ショーテスト・キュー（JSQ）のパフォーマンスを、従来の枠組みとは異なり、負荷分散ポリシーの差をより明確に区別できる非標準的漸近的フレームワーク「非退化遅延（NDS）」で分析すること。
• 最適なディスpatch（JSQ）と最適なプール（集中型キューイング）の間のパフォーマンスギャップ、特に平均応答時間の観点から定量化すること。
• 通信コストを大幅に削減した低情報量ディスpatchルールを設計し、JSQと同等のパフォーマンスを達成すること。
• NDS枠組みが、従来のハブ・トラフィックやハーフィン＝ウッズ枠組みとは異なり、負荷分散ポリシーの間で有意義な差を生み出せることを示すこと。

提案手法

• NDS枠組みにおけるJSQポリシーに拡散近似を適用。これは、サーバー数 $k \to \infty$ の際、余剰サーバー数が固定される定義に基づく。
• 確率的平均化原理、時間スケール分離、カップリング技術を用いて、JSQおよび関連ポリシー下でのシステムの極限的挙動を分析する。
• JSQの拡散極限の定常分布を導出し、ドリフト関数に基づく確率的優位性の議論を用いて、他のポリシーとの比較を行う。
• マルティンゲール関数中心極限定理を適用し、スケーリングされたキューイング過程が拡散過程に収束することを正当化する。
• アイドルワンファースト（I1F）ポリシーを導入・分析し、余剰サーバーと1件のジョブを持つサーバーを優先することで、JSQと同等の定常分布を漸近的に達成できることを示す。
• 確率的順序付けと不変測度解析を用いて、NDS枠組み下でのJSQ、I1F、IQF、およびパワー・オブ・$d$・チョイスポリシーのパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 ジョイン・ザ・ショーテスト・キュー（JSQ）ポリシーのパフォーマンスは、非退化遅延（NDS）枠組みにおいて集中型キューイングと比べてどの程度か？
• RQ2 通信コストを最小限に抑えた低コスト負荷分散ポリシーが、JSQと同等の漸近的パフォーマンスを達成できるか？
• RQ3 なぜNDS枠組みは、従来の漸近的フレームワーク（例：ハーフィン＝ウッズまたはハブ・トラフィック）よりも負荷分散ポリシーの区別に適しているのか？
• RQ4 NDS枠組み下で、JSQと集中型キューイングの間の平均応答時間の正確なパフォーマンスギャップは何か？
• RQ5 アイドルワンファースト（I1F）ポリシーは、JSQおよび他の低情報量ポリシーと比較して、定常分布およびシステムパフォーマンスの観点でどの程度か？

主な発見

• NDS枠組みにおいて、JSQの平均応答時間は、集中型 $M/M/k$ キューのものと比較して最大で15%高い。これは、ジョブのプールやジョブの再配置ができないコストを定量化したものである。
• アイドルワンファースト（I1F）ポリシーは、JSQと同等の漸近的定常分布を達成しており、これは平均応答時間も同一であることを示唆する。通信コストは、パワー・オブ・2・チョイスよりも顕著に低減されている。
• NDS枠組みでは、負荷分散ポリシーの間で明確な差が生じる。これに対して、ハーフィン＝ウッズおよびハブ・トラフィック枠組みでは、JSQと集中型キューイングは区別できない。
• NDS枠組み下でのJSQ拡散の定常分布は、特定のドリフト関数を持つランジュバン拡散として特徴付けられ、その不変測度は明示的に導出されている。
• ドリフト項の確率的優位性により、性能順序 $\pi_{CQ} \leq_{st} \pi_{JSQ} =_{st} \pi_{I1F} \leq_{st} \pi_{IQF}$ が成立し、ポリシー間の相対的パフォーマンスが確認された。
• 分析により、アイドルキュー・ファースト（IQF）ポリシーの平均応答時間は集中型キューイングと比較して最大100%高いことが確認され、I1Fのような洗練された低コスト代替策の必要性が浮き彫りになった。