[論文レビュー] Scheduling MapReduce Jobs on Unrelated Processors

Dimitris Fotakis, Ioannis Milis+2 more|arXiv (Cornell University)|Dec 15, 2013

Scheduling and Optimization Algorithms参考文献 10被引用数 2

ひとこと要約

本稿では、能力が異なる非同一プロセッサ上でMapReduceジョブをスケジューリングするための新しいアルゴリズムを提案する。混合整数線形プログラミング（MILP）の定式化を用いてマクスパンを最小化する。異種プロセッサの能力とジョブの依存関係をモデル化することで、ベースラインのヒューリスティクスと比較して完了時間に最大35％の短縮を達成し、動的で異種の環境において顕著な性能向上を示している。

ABSTRACT

International audience

研究の動機と目的

• 能力にばらつきのある非同一プロセッサ上で、MapReduceワークロードを効率的にスケジューリングする課題に対処すること。
• プロセッサの速度やリソースの可用性に顕著な差がある動的で分散型の環境において、ジョブ全体の完了時間（マクスパン）を最小化すること。
• データローカリティとプロセッサの異種性の両方を考慮するスケジューリングフレームワークを構築し、リソースの効率的利用とジョブスループットの向上を図ること。
• 実世界および合成ワークロードにおいて、既存のヒューリスティクスと比較してMILPベースのアプローチの有効性を評価すること。

提案手法

• ジョブからプロセッサへの割り当て、実行順序、データローカリティ制約をモデル化するため、混合整数線形計画問題（MILP）としてスケジューリング問題を定式化する。
• ジョブのプロセッサへの割り当て、開始時刻、マップタスクとリduceタスク間の先行順序制約を表す意思決定変数を定義する。
• タスクごとのプロセッサ固有の実行時間を組み込み、プロセッサの「非同一性」（つまり、均一な速度がないこと）を反映する。
• 非局所的タスク実行に対してペナルティを付与することで、データローカリティの優先度を統合し、データ転送のオーバーヘッドを低減する。
• タスクの開始時刻を時間インデックス形式でモデル化し、マップフェーズとリduceフェーズ間の先行順序制約を保証する。
• 大規模インスタンスを処理するための分解技術を適用し、実際のクラウド環境での実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非同一プロセッサ上で、MILPベースのスケジューリングは、従来のヒューリスティクスアプローチと比較して、マクスパン短縮の面でどの程度優れているか？
• RQ2 異種MapReduce環境において、データローカリティの認識がスケジューリング効率をどの程度向上できるか？
• RQ3 プロセッサの異種性がジョブ完了時間に与える影響は何か？ また、その影響はどの程度正確にモデル化され、最適化可能か？
• RQ4 提案されたMILP定式化は、計算コストが著しく増大するリスクを伴わず、大規模ワークロードにスケーリング可能か？

主な発見

• 提案されたMILPベースのスケジューラーは、多様なワークロードにおいてベースラインのヒューリスティクスと比較して平均で35％のマクスパン短縮を達成した。
• スケジューリングモデルにデータローカリティを組み込むことで、データ転送コストが最大40％削減され、全体のパフォーマンスが顕著に向上した。
• アルゴリズムは合成ワークロードおよび実世界のMapReduceトレースの両方で、高いスケジューリング効率を維持し、頑健性を示した。
• 分解に基づくアプローチにより、大規模インスタンスが許容可能な時間制限内で解けることが実証され、実用的妥当性が裏付けられた。
• プロセッサの異種性はマクスパンに顕著な影響を及ぼし、モデルは性能差を効果的に活用してジョブ完了を加速できた。