[論文レビュー] Scheduling Distributed Clusters of Parallel Machines: Primal-Dual and LP-based Approximation Algorithms

Riley Murray, Megan Chao+1 more|arXiv (Cornell University)|Jan 1, 2016

Scheduling and Optimization Algorithms参考文献 1被引用数 1

ひとこと要約

この論文は、並列マシンで構成される分散クラスタ上でジョブをスケジューリングし、重み付き平均完了時間を最小化するための、初めての定数倍近似アルゴリズムを提示する。新しい単一マシン特殊ケースへのマッピングと、強い理論的保証を持つLPラウンディング手法を組み合わせた組み合わせ的アルゴリズムを導入し、ユニットスピード条件下で2-近似を達成し、同時に並列オープンショップスケジューリングに関する先行研究を拡張する。

ABSTRACT

The Map-Reduce computing framework rose to prominence with datasets of such size that dozens of machines on a single cluster were needed for individual jobs. As datasets approach the exabyte scale, a single job may need distributed processing not only on multiple machines, but on multiple clusters. We consider a scheduling problem to minimize weighted average completion time of N jobs on M distributed clusters of parallel machines. In keeping with the scale of the problems motivating this work, we assume that (1) each job is divided into M "subjobs" and (2) distinct subjobs of a given job may be processed concurrently. When each cluster is a single machine, this is the NP-Hard concurrent open shop problem. A clear limitation of such a model is that a serial processing assumption sidesteps the issue of how different tasks of a given subjob might be processed in parallel. Our algorithms explicitly model clusters as pools of resources and effectively overcome this issue. Under a variety of parameter settings, we develop two constant factor approximation algorithms for this problem. The first algorithm uses an LP relaxation tailored to this problem from prior work. This LP-based algorithm provides strong performance guarantees. Our second algorithm exploits a surprisingly simple mapping to the special case of one machine per cluster. This mapping-based algorithm is combinatorial and extremely fast. These are the first constant factor approximations for this problem.

研究の動機と目的

• エクサバイト規模のデータ処理ニーズを背景に、大規模ジョブを複数の並列マシンクラスタにスケジューリングする課題に対処すること。
• 非均一なマシン速度、リリース時間、重み付きジョブ完了時間の許容を含む、先行モデルの拡張。
• この一般化された分散スケジューリング問題に対する、初めての定数倍近似アルゴリズムの開発。
• 最悪ケース性能保証の欠如する従来のヒューリスティクス（例：SWAG）の制限を克服すること。
• 強い理論的性能バインディングを有するLPベースと組み合わせ的アルゴリズムの両方の提供。

提案手法

• 各ジョブがm個のクラスタに分割され、それぞれが複数の並列マシンで処理される「同時クラスタスケジューリング」という新しい問題定式化を提案。
• 問題に特化したプリミティブ・デュアルに類似したLP緩和を導入し、サブジョブ完了とマシン速度の変動をモデル化するための修正された制約集合を用いる。
• 単一マシン1台あたりのクラスタケースへの驚くべきマッピングにより、組み合わせ的アルゴリズムを構築し、O(n² + nm)の時間計算量を達成。
• LPに明示的に含まれないジョブ完了時間Cjの新しい下界を用いたLPラウンディングを適用し、近似保証を強化。
• P||∑wjLjからCC||∑wjCjへの変換を用い、変換後問題と元の問題における解の最適性が同等であることを証明。
• クラスタスケジューリング問題の構造的性質を捉えるために、LP緩和における制約の修正を実施し、よりタイトな境界を可能に。

実験結果

リサーチクエスチョン

• RQ1 非均一なマシン速度とリリース時間を有する分散クラスタ上の並列マシンでジョブをスケジューリングするための定数倍近似アルゴリズムを設計可能か？
• RQ2 同時クラスタスケジューリングにおいて、単一順列スケジュールと複数順列スケジュールの性能はどのように比較されるか？
• RQ3 LP緩和に依存せずに、組み合わせ的アルゴリズムが強力な近似比を達成可能か？
• RQ4 ユニットスピード条件下で単一順列スケジュールに制限した場合、最適解との最悪ケースでの性能損失はどの程度か？
• RQ5 LP緩和における暗黙的な制約修正が、スケジューリング問題における近似性能を向上させ得るか？

主な発見

• 本論文は、NP困難な同時オープンショップモデルを超えた、同時クラスタスケジューリング問題に対する初めての定数倍近似アルゴリズムを提示する。
• LPベースのアルゴリズムは、すべてのマシンがユニットスピードであり、サブジョブが等サイズのタスクに分割される条件下で2-近似を達成する。
• 単一マシン1台あたりのクラスタケースへのマッピングに基づく組み合わせ的アルゴリズムは、O(n² + nm)時間で実行され、定数倍近似を提供する。
• 理論的解析により、単一順列スケジュールは、グローバル最適解と比較して最大1.2倍の最適性ギャップを示すが、常に3-近似が達成可能であることが示された。
• ジョブ完了時間Cjの暗黙の下界をLP緩和に組み込むことで、LP緩和が強化され、これはタイトな近似比を達成するために不可欠である。
• 標準的なLP緩和では余分と見なされる制約が、クラスタ固有のスケジューリング構造をモデル化する際には本質的になることが、本アプローチによって示された。