[論文レビュー] Designing Low-Complexity Heavy-Traffic Delay-Optimal Load Balancing Schemes: Theory to Algorithms

Xingyu Zhou, Fei Wu+3 more|arXiv (Cornell University)|Oct 12, 2017

Advanced Queuing Theory Analysis参考文献 9被引用数 8

ひとこと要約

本稿では、低複雑性で重負荷下で遅延最適な負荷分散ポリシーを設計するための統一的解析フレームワークを提示する。新たに提案されたプルベースのポリシーであるJoin-Below-Threshold (JBT-d) は、動的に調整されるディスpatching閾値を備え、最小限のメッセージオーバーヘッドでJSQに匹敵する近似最適な遅延性能を達成する。一方、JIQと同様にシンプルさを維持する。

ABSTRACT

We establish a unified analytical framework for load balancing systems, which allows us to construct a general class $Π$ of policies that are both throughput optimal and heavy-traffic delay optimal. This general class $Π$ includes as special cases popular policies such as join-shortest-queue and power-of-$d$, but not the join-idle-queue (JIQ) policy. In fact, we show that JIQ, which is not in $Π$, is actually not heavy-traffic delay optimal. Owing to the significant flexibility offered by class $Π$, we are able to design a new policy called join-below-threshold (JBT-d), which maintains the simplicity of pull-based policies such as JIQ, but updates its threshold dynamically. We prove that JBT-$d$ belongs to the class $Π$ when the threshold is picked appropriately and thus it is heavy-traffic delay optimal. Extensive simulations show that the new policy not only has a low complexity in message rates, but also achieves excellent delay performance, comparable to the optimal join-shortest-queue in various system settings.

研究の動機と目的

• 重負荷下で遅延最適かつ低複雑性であるプルベースの負荷分散ポリシーの不足を解消すること。
• JIQのような既存のプルベースポリシーが中程度の負荷では優れた性能を示すものの、なぜ重負荷下で遅延最適でないのかを特定すること。
• 重負荷下でスループットおよび遅延最適性を達成する広範なポリシークラス（クラス Π）を特徴付ける一般化された解析フレームワークを構築すること。
• プルベース方式の低メッセージレートおよびゼロディスpatching遅延を維持しながら、遅延最適性を達成する新しいポリシー、JBT-d を設計すること。
• 多数のシミュレーションを通じて、JBT-d が多様なシステム構成およびトラフィックパターンにおいて近似最適な遅延性能を達成することを実証すること。

提案手法

• 内積に基づく十分条件を導出し、クラス Π の理論的基盤を構築することで、スループットおよび重負荷下での遅延最適性を保証する。
• 新規のリャプノフ・ドリフト論法を用いて、同種サーバー環境下でも JIQ が重負荷下で遅延最適でないことを証明する。
• JBT-d を JIQ の動的閾値拡張として設計し、ディスパッチャが時間的に変化する閾値以下のキュー長を持つサーバーにジョブをルーティングする。
• 適切に閾値を選択することで JBT-d がクラス Π に属することを保証し、遅延最適性を保証する。
• Poisson分布およびバースト性のある到着・サービスプロセス、さまざまなシステムサイズを想定し、JBT-d の実装とシミュレーションを実施して性能と複雑性を検証する。
• 複数のトラフィック負荷において、応答時間およびメッセージレートの観点から、JBT-d を JSQ、JIQ、power-of-d、SQ(d) ポリシーと比較する。

実験結果

リサーチクエスチョン

• RQ1 プルベースの負荷分散ポリシーは、低メッセージオーバーヘッドおよびゼロディスパッチング遅延を維持しながら、重負荷下で遅延最適性を達成できるか？
• RQ2 広く使われている JIQ ポリシーは、実用的性能に優れるものの、なぜ重負荷下で遅延最適でないのか？
• RQ3 負荷分散ポリシーがスループット最適かつ重負荷下で遅延最適であることを保証する一般的な構造的条件は何か？
• RQ4 プルベースポリシーにおける動的閾値メカニズムは、単純さを損なわず、遅延最適性を達成できるか？
• RQ5 さまざまなシステム負荷およびトラフィックパターン下で、提案された JBT-d ポリシーは、JSQ や power-of-d といったプッシュベースの最適ポリシーと比べてどのように性能を発揮するか？

主な発見

• 新規のリャプノフ・ドリフト論法により、同種サーバー環境下でも JIT が重負荷下で遅延最適でないことが証明された。
• 提案されたクラス Π は JSQ や power-of-d を特別なケースとして含むが、JIQ を含まないため、JIQ が重負荷下で本質的に制限を受けることが確認された。
• JBT-d は、Poisson分布およびバースト性のある到着・サービスプロセスを含む、すべてのテスト設定において JSQ と同等の遅延性能を達成した。
• JBT-d は高負荷下でも 1 ジョブあたり 1 未満のメッセージレート（例：T=700 時に 0.363 メッセージ/ジョブ）を維持し、JSQ の 20 メッセージ/ジョブに比べて顕著に低い。
• 10 台の同種サーバーにおいて、Poisson到着および定常サービス下で T=700 時に JBT-10 は平均応答時間を 12.96 秒に短縮し、JSQ の 9.96 秒に近づいた。
• バースト性のある到着および Poisson サービス下で、T=500 時に JBT-10 は 27.8 秒の応答時間を達成したのに対し、JIQ は 53.78 秒であった。これは遅延性能で 48% の改善を示した。