[論文レビュー] Load Balancing in Large-Scale Systems with Multiple Dispatchers

Mark van der Boor, Sem Borst+1 more|arXiv (Cornell University)|Jun 4, 2017

Advanced Queuing Theory Analysis参考文献 16被引用数 5

ひとこと要約

本稿では、複数のディスpatcherを備えた大規模システムにおける、非一様なトークン配分および周期的トークン交換を特徴とする2つの拡張版Join-the-Idle-Queue（JIQ）負荷分散方式を提案する。両手法とも、任意の部分的負荷および極端に偏ったディスpatcher負荷下において、多くのサーバーが存在する極限状態でゼロブロッキングおよびゼロ待機時間を達成する。標準的なJIQが負荷の不均衡により失敗する状況でも同様の性能を達成する。

ABSTRACT

Load balancing algorithms play a crucial role in delivering robust application performance in data centers and cloud networks. Recently, strong interest has emerged in Join-the-Idle-Queue (JIQ) algorithms, which rely on tokens issued by idle servers in dispatching tasks and outperform power-of-$d$ policies. Specifically, JIQ strategies involve minimal information exchange, and yet achieve zero blocking and wait in the many-server limit. The latter property prevails in a multiple-dispatcher scenario when the loads are strictly equal among dispatchers. For various reasons it is not uncommon however for skewed load patterns to occur. We leverage product-form representations and fluid limits to establish that the blocking and wait then no longer vanish, even for arbitrarily low overall load. Remarkably, it is the least-loaded dispatcher that throttles tokens and leaves idle servers stranded, thus acting as bottleneck. Motivated by the above issues, we introduce two enhancements of the ordinary JIQ scheme where tokens are either distributed non-uniformly or occasionally exchanged among the various dispatchers. We prove that these extensions can achieve zero blocking and wait in the many-server limit, for any subcritical overall load and arbitrarily skewed load profiles. Extensive simulation experiments demonstrate that the asymptotic results are highly accurate, even for moderately sized systems.

研究の動機と目的

• ディスpatcher負荷が非対称な場合に標準的なJoin-the-Idle-Queue（JIQ）方式が性能劣化を示す問題を解消すること。
• 最も負荷が軽いディスpatcherがトークンの流れを制限することでボトルネックとなり、空きサーバーが利用されず、ブロッキングおよび待機時間が非ゼロとなる原因を特定すること。
• 任意の負荷の偏りおよび部分的負荷下で、漸近的最適性（ゼロブロッキングおよびゼロ待機）を回復する、スケーラブルなJIQの拡張を設計すること。
• 積型分布および流体極限解析を用いて、新規手法の理論的保証を確立し、実世界のデータセンターやクラウドネットワークへの適用可能性を確保すること。

提案手法

• ブロッキング状況を閉じたジャクソンネットワークとしてモデル化し、ブロッキング確率の正確な積型分布を導出する。
• 流体極限技術を適用して多数サーバー下でのシステム動作を分析し、性能が総負荷および最小ディスpatcher負荷に依存することを示す。
• 拡張手法1の導入：ディスpatcher負荷に比例した非一様なトークン配分により、ディスpatcher間でのトークン可視性を均等化する。
• 拡張手法2の導入：指数分布のレートでディスpatcher間でトークンを周期的に交換し、負荷に応じたトークン再配分を可能にする。
• 漸近的解析を用いて、両拡張手法がサーバー数の増大に伴いゼロブロッキングおよびゼロ待機時間を達成することを証明する。
• 多数のシステムサイズおよび負荷設定において、広範なシミュレーションを実施し理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なJIQ方式は、全体負荷が非常に低くても、ディスpatcher負荷が偏っている状況ではゼロブロッキングおよびゼロ待機に到達できないのか？
• RQ2 最も負荷が軽いディスpatcherがなぜボトルネックとなるのか？また、その影響が空きサーバーの可視性にどのように現れるのか？
• RQ3 負荷の偏りが任意であっても、トークン配分を調整することで、多くのサーバーが存在する極限状態でゼロ待機時間を回復できるか？
• RQ4 ディスpatcher間で周期的なトークン交換が、任意の部分的負荷プロファイルにおいてブロッキングおよび待機を完全に排除できるか？
• RQ5 中程度のサイズのシステム（例：N=1000サーバー）において、流体極限近似はシステム性能をどれほど正確に予測できるか？

主な発見

• ディスpatcher負荷が偏っている場合でさえ、全体負荷が任意に低くても、標準的なJIQ方式は多くのサーバーが存在する極限状態でゼロブロッキングおよびゼロ待機に到達しない。
• 最も負荷が軽いディスpatcherがトークンを蓄積することでボトルネックとなり、重い負荷のディスpatchャーが空きサーバーを正しく認識できず、結果として空きサーバーが無駄に残る。
• 拡張手法1—ディスpatcher負荷に比例した非一様なトークン配分—は、任意の部分的負荷および任意の負荷の偏り下で、ゼロブロッキングおよびゼロ待機を達成する。
• 拡張手法2—十分に高いレートでの周期的トークン交換—も、任意の部分的負荷プロファイル下で、多くのサーバーが存在する極限状態でゼロブロッキングおよびゼロ待機を達成する。
• シミュレーション結果により、流体極限近似が中程度のサイズのシステム（例：N=1000サーバー）に対しても非常に高い精度を持つことが確認された。
• 提案手法は通信オーバーヘッドを低く抑え、ジョブ1件あたり定数または無視できる程度の追加メッセージしか必要とせず、元のJIQ方式のスケーラビリティを維持する。