[論文レビュー] Analysis of Load Balancing in Large Heterogeneous Processor Sharing Systems

Arpan Mukhopadhyay, Ravi R. Mazumdar|arXiv (Cornell University)|Nov 22, 2013

Distributed and Parallel Computing Systems参考文献 17被引用数 12

ひとこと要約

この論文は、異なるサーバー速度を持つ大規模な非均一プロセッサ共有システムにおけるランダム化 Join-The-Shortest-Queue (JSQ) 方式を分析している。標準的な Power-of-Two JSQ 方式は、均一なシステムと比較して安定性領域が小さくなることが示され、一方で静的ランダム化 + JSQ のハイブリッド方式を提案し、最大安定性を回復するとともに低遅延を維持する。平均場解析により、ジョブサイズ分布に依存しない定常分布が得られることを示している。

ABSTRACT

We analyze randomized dynamic load balancing schemes for multi-server processor sharing systems when the number of servers in the system is large and the servers have heterogeneous service rates. In particular, we focus on the classical power-of-two load balancing scheme and a variant of it in which a newly arrived job is assigned to the server having the least instantaneous Lagrange shadow cost among two randomly chosen servers. The instantaneous Lagrange shadow cost at a server is given by the ratio of the number of unfinished jobs at the server to the capacity of the server. Two different approaches of analysis are presented for each scheme. For exponential job length distribution, the analysis is done using the mean field approach and for more general job length distributions the analysis is carried out assuming an asymptotic independence property. Analytical expressions to compute mean sojourn time of jobs are found for both schemes. Asymptotic insensitivity of the schemes to the type of job length distribution is established. Numerical results are presented to validate the theoretical results and to show that, unlike the homogeneous scenario, the power-of-two type schemes considered in this paper may not always result in better behaviour in terms of the mean sojourn time of jobs.

研究の動機と目的

• 非同一のサーバー速度を持つ大規模な非均一プロセッサ共有システムにおけるランダム化 JSQ 方式の安定性とパフォーマンスを調査すること。
• 特に、均一なシステムと比較して安定性領域が縮小するという点で、標準的な Power-of-Two JSQ 方式の非均一環境下での限界を特定すること。
• JSQルーティング下でのサーバー占有状態の定常分布を特徴づけ、ジョブサイズ分布に依存しないことを証明すること。
• 静的ランダムルーティングと JSQ を組み合わせたハイブリッドルーティング方式を提案・分析し、最大安定性を回復するとともに、JSQ の低遅延利点を維持すること。

提案手法

• サーバー数が非常に大きくなる際のシステムの漸近的挙動を分析するため、平均場解析を用いる。
• 極限においてサーバー状態が概ね独立であるとみなせる、確率的独立性の伝播（Propagation of Chaos）の原則を適用する。
• サーバー占有レベルの定常確率を記述する再帰的方程式系を導出し、解く。
• 母関数を用いたパラメータ化された均衡アプローチを用い、定常分布の存在性および単調性を証明する。
• クラス別静的ルーティングとクラス内でのランダム化 JSQ サンプリングを組み合わせたハイブリッド方式を導入し、最大安定性を回復する。
• ジョブサイズ分布に依存しない定常分布を示すために、ジョブサイズ分布がどのように変化しても同じ均衡に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 非均一プロセッサ共有システム（異なるサーバー速度）において、標準的な Power-of-Two JSQ 方式は最大安定性を維持できるか？
• RQ2 サーバーの非均一性は、ランダム化 JSQ 方式の安定性領域にどのような影響を与えるか？
• RQ3 JSQ ルーティング下で、大規模な非均一システムにおけるサーバー占有状態の定常分布を特徴づけられるか？
• RQ4 非均一環境下で、システムの定常分布はジョブサイズ分布に依存しないか？
• RQ5 静的ルーティングと JSQ を組み合わせたハイブリッドルーティング方式を設計し、最大安定性領域を回復するとともに、JSQ の遅延利点を維持できるか？

主な発見

• 非均一システムにおける標準的な Power-of-Two JSQ 方式は、最大安定性領域よりも厳密に小さい安定性領域を持つため、平均遅延の観点では静的ランダムルーティングに劣ることがある。
• JSQ ルーティング下でのサーバー占有状態の定常分布は、サーバー数が無限大に近づく際、均一系と同様に超指数的尾部減衰を示す。
• 定常分布はジョブサイズ分布に依存しない（すなわち、ジョブサイズが指数分布、ハイパーエクスポネンシャル分布、一般化位相型分布のいずれであっても、同じ平衡挙動が観察される）。
• クラス別静的ルーティングとクラス内でのランダム化 JSQ サンプリングを組み合わせたハイブリッドルーティング方式により、最大安定性領域が回復されるとともに、JSQ の低遅延利点が維持される。
• 提案されたハイブリッド方式は、非均一システムにおいて、純粋な静的ルーティングおよび純粋なランダム化 JSQ と比較して、平均滞在時間の観点で厳密に優れている。
• 再帰的確率列の解析と無限大における収束性を用いて、平均場極限における一意な平衡点の存在が証明された。