[論文レビュー] Balancing indivisible real-valued loads in arbitrary networks

Ömer Burak Demirel, Ivo F. Sbalzarini|arXiv (Cornell University)|Aug 1, 2013

Distributed and Parallel Computing Systems参考文献 34被引用数 3

ひとこと要約

本稿では、任意のネットワークにおける分割不能で実数値のワークロードの動的負荷分散のための SortedGreedy アルゴリズムを提案する。バランス回路モデル（BCM）を用い、局所的バランスの前に負荷をソートすることで、Greedy よりも最大135倍低い不均衡度を達成した。通信オーバーヘッドが高めでも、20倍の優れた性能対コスト比を維持した。

ABSTRACT

In parallel computing, a problem is divided into a set of smaller tasks that are distributed across multiple processing elements. Balancing the load of the processing elements is key to achieving good performance and scalability. If the computational costs of the individual tasks vary over time in an unpredictable way, dynamic load balancing aims at migrating them between processing elements so as to maintain load balance. During dynamic load balancing, the tasks amount to indivisible work packets with a real-valued cost. For this case of indivisible, real- valued loads, we analyze the balancing circuit model, a local dynamic load-balancing scheme that does not require global communication. We extend previous analyses to the present case and provide a probabilistic bound for the achievable load balance. Based on an analogy with the offline balls-into-bins problem, we further propose a novel algorithm for dynamic balancing of indivisible, real-valued loads. We benchmark the proposed algorithm in numerical experiments and compare it with the classical greedy algorithm, both in terms of solution quality and communication cost. We find that the increased communication cost of the proposed algorithm is compensated by a higher solution quality, leading on average to about an order of magnitude gain in overall performance.

研究の動機と目的

• 任意のネットワークにおける分割不能で実数値の負荷のバランスの理論的・アルゴリズム的分析の不足に対処すること。
• 従来の離散的（ユニットサイズ）負荷分散理論を連続的・実数値のケースに拡張すること。
• グローバル通信を必要とせず、実用的かつスケーラブルなアルゴリズムを開発し、負荷バランスの質を向上させること。
• 動的負荷分散における解の質（不均衡度）と通信コストのトレードオフを評価すること。
• ソーティングに基づく負荷分散が、古典的なグリーディ法よりも精度と効率の両面で優れていることを実証すること。

提案手法

• 離散ケースからの理論的境界を修正することで、BCM を分割不能で実数値の負荷を扱えるように適応する。
• 最大負荷が非増加で最小負荷が非減少であると仮定したもとで、BCM における期待不均衡度のタイトな確率的境界を導出する。
• 各マッチドプロセッサペアで負荷をソートしてからバランスを行う、局所的負荷分散アルゴリズム「SortedGreedy」を提案する。
• オフライン重み付きボールインビンフレームワークを用いて、負荷分布の質と収束速度をモデル化・分析する。
• BCMに基づく2つのプロトコルを実装：1つは SortedGreedy を、もう1つは古典的な Greedy を局所的バランスのプリミティブとして使用する。
• 性能比較のための指標 $ S = p \frac{\text{disc}}{\alpha} $ を定義する。ここで $\text{disc}$ は不均衡度の低減量、$\alpha$ は総負荷移動量である。

実験結果

リサーチクエスチョン

• RQ1 BCM を用いた分割不能で実数値の負荷のバランスにおいて、不均衡度に関するタイトな理論的境界を導出できるか？
• RQ2 局所的バランスの前に負荷値をソートすることは、グリーディ割り当てと比較して最終的な負荷バランスの質にどのような影響を与えるか？
• RQ3 BCM を用いた動的負荷分散において、解の質（不均衡度）と通信コスト（負荷移動回数）のトレードオフはいかなるものか？
• RQ4 実際のネットワークトポロジーにおいて、SortedGreedy は不均衡度低減と総合的な性能対コスト比の両面で Greedy を上回るか？
• RQ5 $ L/n $ の比（全負荷量とノード数の比）が、SortedGreedy と Greedy の相対的性能にどのように影響を与えるか？

主な発見

• フルモビリティ下では SortedGreedy が Greedy より最終的な不均衡度を最大135倍低減し、部分的モビリティ下では21倍低減した。
• フルモビリティ下では通信コストが14倍高く、部分的モビリティ下では2倍高いにもかかわらず、SortedGreedy は平均で22〜24倍優れた性能対コスト比を達成した。
• 不均衡度低減と通信コストの両方をバランスさせる指標 $ S_{\text{rel}} $ は、SortedGreedy が Greedy より最大75倍、平均で22〜24倍優れていることを示した。
• 部分モビリティ下の大きなネットワーク（$ n > 128 $）では、SortedGreedy は Greedy よりも少ない負荷移動回数で済むと予想され、通信コストの不利要因が解消される。
• 離散ケースで導出した理論的不均衡度境界は、最大負荷が非増加で最小負荷が非減少、かつマッチドエッジあたりの期待誤差がゼロであるという弱い条件下では、実数値負荷に対しても成り立つ。
• 負荷数 $ m \gg n $ の場合、SortedGreedy は最適なソーティングベースの割り当てにより、Greedy よりも $ \text{O}(\log m) $ だけ優れた不均衡度を達成する。