[論文レビュー] Asymptotically Optimal Load Balancing in Large-scale Heterogeneous Systems with Multiple Dispatchers

Xingyu Zhou, Ness B. Shroff+1 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Queuing Theory Analysis参考文献 25被引用数 4

ひとこと要約

本論文は、複数のディスpatcherを備えた大規模で非均一なシステムにおける負荷分散のためのローカル推定駆動（LED）フレームワークを導入する。ディスpatcherは、ローカルで、おそらく古くなったキュー長の推定値を用いてジョブをルーティングする。本論文は、LEDポリシーが重交通下でスループット最適性と遅延最適性の両方を達成するための十分条件を確立し、遅延情報が遅れて入手可能な場合の遅延最適負荷分散に関する未解決問題を解決する。これにより、非均一で複数のディスpatcherを持つシステムにおける新たな低オーバーヘッドで遅延最適なポリシーが可能になる。

ABSTRACT

We consider the load balancing problem in large-scale heterogeneous systems with multiple dispatchers. We introduce a general framework called Local-Estimation-Driven (LED). Under this framework, each dispatcher keeps local (possibly outdated) estimates of queue lengths for all the servers, and the dispatching decision is made purely based on these local estimates. The local estimates are updated via infrequent communications between dispatchers and servers. We derive sufficient conditions for LED policies to achieve throughput optimality and delay optimality in heavy-traffic, respectively. These conditions directly imply delay optimality for many previous local-memory based policies in heavy traffic. Moreover, the results enable us to design new delay optimal policies for heterogeneous systems with multiple dispatchers. Finally, the heavy-traffic delay optimality of the LED framework directly resolves a recent open problem on how to design optimal load balancing schemes using delayed information.

研究の動機と目的

• 大規模で非均一なシステムに複数のディスpatcherが存在する状況における負荷分散の理論的遅延性能保証の欠如に対処すること。
• メッセージ通信オーバーヘッドを最小限に抑えるために、遅延したローカル情報のみを用いるスケーラブルな負荷分散フレームワークを設計すること。
• 古いキュー状態情報しか入手できない状況で、重交通下での遅延最適性を達成するという未解決問題を解決すること。
• 従来のローカルメモリベースのポリシー（例：LSQ）を一般化し、新しい遅延最適ポリシーの体系的設計を可能にすること。
• LEDフレームワーク下でスループット最適性と遅延最適性の両方を保証する十分条件を提供すること。

提案手法

• 各ディスpatcherがサーバのキュー長のローカルで、おそらく古くなった推定値を維持する、ローカル推定駆動（LED）フレームワークを提案する。
• ディスpatcherとサーバ間の通信を低頻度にすることで、ローカル推定値を更新し、メッセージ通信オーバーヘッドを最小限に抑える。
• 重交通下でスループット最適性と遅延最適性を保証する更新戦略に関する十分条件を導出する。
• 状態空間の収縮とリャプノフドリフト解析を用いて、これらの条件下での重交通下での遅延最適性を証明する。
• LSQなどの先行ポリシーを一般化し、それらが十分条件を満たすことを示し、したがって重交通下で遅延最適であることを示す。
• コーシー＝シュワルツ不等式とモーメント有界性の議論を用いて、定常状態におけるキューと不均衡ベクトルの積の期待値を評価する。

実験結果

リサーチクエスチョン

• RQ1 非均一なシステムに複数のディスpatcherが存在する状況で、負荷分散の遅延性能保証を確立することは可能か？
• RQ2 遅延したローカル情報のみを用いて、重交通下で遅延最適性を達成することは可能か？
• RQ3 LEDフレームワーク下で、スループット最適性と遅延最適性の両方を保証する更新戦略の条件は何か？
• RQ4 従来のローカルメモリベースのポリシーは、LEDフレームワーク下でどのように一般化され、最適性が証明できるか？
• RQ5 非均一で複数のディスpatcherを持つシステムに対して、新たな低オーバーヘッドで遅延最適なポリシーを体系的に設計することは可能か？

主な発見

• LEDフレームワークは、更新戦略にやや緩い条件が課せられれば、スループット最適性を達成し、高いサーバ利用率を保証する。
• 重交通下での遅延最適性を保証する十分条件が導出され、遅延情報が遅れて入手可能な状況における最近の未解決問題が解決された。
• LSQを含む多くの従来のローカルメモリベースのポリシーは、十分条件を満たしており、したがって重交通下で遅延最適である。
• フレームワークにより、ディスパッチング遅延がゼロで、通信オーバーヘッドが低い非均一システム向けの新しい遅延最適ポリシーの設計が可能になった。
• 重交通下での遅延最適性は、状態空間の収縮とモーメント有界性の議論を用いて証明され、システム負荷が容量に近づくにつれて、主要な性能指標がゼロに収束することを示した。
• フレームワークは、負荷分散設計におけるローカルメモリ使用量と通信オーバーヘッドのトレードオフを体系的に探るための手法を提供する。