[論文レビュー] On the Optimality of Scheduling Dependent MapReduce Tasks on Heterogeneous Machines.

Vaneet Aggarwal, Maotong Xu+2 more|arXiv (Cornell University)|Nov 27, 2017

Cloud Computing and Resource Management参考文献 23被引用数 4

ひとこと要約

本稿では、重み付き完了時間の最小化を目的として、異種マシン上の依存関係を持つMapReduceタスクのための新しいスケジューリングアルゴリズムであるDMRSを提案する。タスクの依存関係とサーバーの異種性をモデル化することで、DMRSは$2(1+(m-1)/D)+1$の競合比を達成し、Hadoop環境での評価においてベースラインスケジューラーと比較してジョブ完了時間を最大82%短縮する。

ABSTRACT

MapReduce is the most popular big-data computation framework, motivating many research topics. A MapReduce job consists of two successive phases, i.e. map phase and reduce phase. Each phase can be divided into multiple tasks. A reduce task can only start when all the map tasks finish processing. A job is successfully completed when all its map and reduce tasks are complete. The task of optimally scheduling the different tasks on different servers to minimize the weighted completion time is an open problem, and is the focus of this paper. In this paper, we give an approximation ratio with a competitive ratio $2(1+(m-1)/D)+1$, where $m$ is the number of servers and $D\ge 1$ is the task-skewness product. We implement the proposed algorithm on Hadoop framework, and compare with three baseline schedulers. Results show that our DMRS algorithm can outperform baseline schedulers by up to $82\%$.

研究の動機と目的

• 重み付き完了時間を最小化する目的で、異種マシン上の依存関係を持つMapReduceタスクを最適にスケジューリングするという未解決問題に取り組む。
• 分散MapReduce環境におけるタスクの依存関係とサーバーの異種性を考慮したスケジューリングアルゴリズムを設計する。
• 実Hadoopデプロイメントにおける既存スケジューラーと比較して、提案アルゴリズムの性能を評価する。
• 動的かつ偏りのあるワークロード下でのスケジューリングアルゴリズムの理論的競合比を確立する。

提案手法

• 提案されたDMRSアルゴリズムは、タスクの依存関係とサーバーの異種性をモデル化し、重み付き完了時間の最小化に基づいてタスクの優先順位を決定する。
• このアルゴリズムは、$m$がサーバー数で、$D \to 1$がタスクの偏り係数の積であるとき、$2(1+(m-1)/D)+1$の競合比を導出する。
• アルゴリズムは、異種マシン間でのタスク実行時間とデータローカリティの両方を考慮した優先順位ベースのスケジューリング戦略を採用する。
• 推定処理時間と依存関係制約に基づいて、動的にマップおよびリduceタスクをサーバーに割り当てる。
• スケジューリング論理は、負荷分散とジョブターンアラウンドの短縮を両立させるために、重み付き完了時間の目的関数を組み込む。
• アルゴリズムはHadoopフレームワーク内に実装され、実世界のワークロードとベースラインスケジューラーとの比較を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 異種マシン上での依存関係を持つMapReduceタスクのためのスケジューリングアルゴリズムの理論的競合比は何か？
• RQ2 タスクの偏りとサーバーの異種性は、MapReduceジョブスケジューリングの性能にどのように影響するか？
• RQ3 ヒューリスティックスケジューリングアルゴリズムは、重み付き完了時間の観点で、既存のベースラインスケジューラーを上回ることができるか？
• RQ4 タスクの依存関係とデータローカリティは、異種クラスタにおけるスケジューリング効率にどのような影響を及えるか？

主な発見

• 提案されたDMRSアルゴリズムは、$2(1+(m-1)/D)+1$の競合比を達成し、依存関係を持つMapReduceタスクのスケジューリングにおける性能の理論的上限を提供する。
• Hadoopベースの評価において、DMRSはベースラインスケジューラーと比較して、重み付き完了時間を最大82%短縮する。
• アルゴリズムはタスクの依存関係とサーバーの異種性を効果的に処理し、負荷分散の向上とジョブ完了効率の向上を実現する。
• 性能向上は、タスクの偏りが強く、サーバー構成が異種である状況で顕著であり、アルゴリズムの頑健性が裏付けられる。