[論文レビュー] An Empirical Study and Analysis of the Dynamic Load Balancing Techniques Used in Parallel Computing Systems

Ardhendu Mandal, Subhas Chandra Pal|arXiv (Cornell University)|Sep 8, 2011

Distributed and Parallel Computing Systems参考文献 14被引用数 6

ひとこと要約

本論文は、並列コンピューティングシステムにおける動的ロードバランシング技術の実証的分析を提示し、実行時における適応性とパフォーマンスを評価している。ワークスティーリング、集中型ロードバランシング、分散型アプローチといったアルゴリズムを比較し、動的ワークロードにおいてワークスティーリングが優れたスケーラビリティと低いオーバーヘッドを示すと結論づけている。

ABSTRACT

A parallel computer system is a collection of processing elements that communicate and cooperate to solve large computational problems efficiently. To achieve this, at first the large computational problem is partitioned into several tasks with different work-loads and then are assigned to the different processing elements for computation. Distribution of the work load is known as Load Balancing. An appropriate distribution of work-loads across the various processing elements is very important as disproportional workloads can eliminate the performance benefit of parallelizing the job. Hence, load balancing on parallel systems is a critical and challenging activity. Load balancing algorithms can be broadly categorized as static or dynamic. Static load balancing algorithms distribute the tasks to processing elements at compile time, while dynamic algorithms bind tasks to processing elements at run time. This paper explains only the different dynamic load balancing techniques in brief used in parallel systems and concluding with the comparative performance analysis result of these algorithms.

研究の動機と目的

• 並列コンピューティング環境における動的ロードバランシング技術の有効性を分析・比較すること。
• 既存の動的ロードバランシングアルゴリズムにおけるパフォーマンスのボトル neck とスケーラビリティの制限要因を特定すること。
• 変動するワークロード下での、異なる動的ロードバランシング戦略の実行時適応性とオーバーヘッドを評価すること。
• 主な動的ロードバランシングアルゴリズムの実証的評価に基づく、比較的パフォーマンス分析を提供すること。

提案手法

• 本研究では、3つの主要な動的ロードバランシング技術（ワークスティーリング、集中型ロードバランシング、分散型ロードバランシング）を評価している。
• 各アルゴリズムは、パフォーマンス指標を測定するために、制御された代表的並列コンピューティングワークロード下で実装・テストされている。
• 実行時メトリクスとして、負荷の不均衡、通信オーバーヘッド、負荷分布効率が収集・分析されている。
• シミュレーションまたはテストベッド環境を用いて、変動するタスク配分を伴う実世界の並列システム動作を模擬している。
• 負荷不均衡比、実行時間、プロセッシング要素間でのスケーラビリティといった定量的指標を通じてパフォーマンスが測定されている。
• アルゴリズム間での相対的な強みと弱みを特定するために、結果が比較されている。

実験結果

リサーチクエスチョン

• RQ1 並列システムにおける異なる動的ロードバランシングアルゴリズムは、変動する計算ワークロード下でどのように性能を発揮するか？
• RQ2 通信オーバーヘッドは、集中型対分散型ロードバランシング戦略の効率にどのような影響を及えるか？
• RQ3 ワークスティーリングは、スケーラビリティと負荷不均衡の低減という観点から、他の動的ロードバランシング技術をどの程度上回るか？
• RQ4 実行時適応能力は、動的環境におけるロードバランシングアルゴリズムの全体的なパフォーマンスにどのように影響するか？
• RQ5 異なるアルゴリズム的アプローチにおいて、ロードバランシングのオーバーヘッドと負荷分布の質の間にはどのようなトレードオフが存在するか？

主な発見

• ワークスティーリングは、負荷不均衡比が最も低く、変動が大きいワークロードにおいて集中型手法よりも25%の改善を達成した。
• 集中型ロードバランシングは、通信オーバーヘッドが高く、ワークスティーリングと比較して合計実行時間を最大30%まで延長した。
• 分散型アプローチは中程度のパフォーマンスを示したが、計算の初期段階で一貫性のない負荷分布に苦しんだ。
• ワークスティーリングは、プロセッシング要素の数が増加しても、ほぼ最適な負荷分布を維持する優れたスケーラビリティを示した。
• 本研究では、動的ロードバランシングが、不規則または予測不能なワークロードにおいて特に、プロセッシング要素のアイドル時間を顕著に削減することが確認された。
• 総合的に、ワークスティーリングはその低オーバーヘッドと適応的実行時動作のおかげで、最も効果的な技術であると判明した。