[論文レビュー] On Dynamic Job Ordering and Slot Configurations for Minimizing the Makespan Of Multiple MapReduce Jobs

Wenhong Tian, Guangchun Luo+2 more|arXiv (Cornell University)|Apr 15, 2016

Cloud Computing and Resource Management参考文献 8被引用数 4

ひとこと要約

本稿では、ジョンソンの古典的2台フローチャネルモデルに適合させることで、複数のMapReduceジョブにおけるマケスパンを最小化する最適なオフラインスケジューリング手法としてUAASアルゴリズムを提案する。ジョブの動的順序付けとマップ/リダースロット比の設定により、UAASは最適なマケスパンを達成し、スロット変更に対して劣った結果を示すヒューリスティック手法（MK_JR や BalancedPools）を上回る性能を発揮する。

ABSTRACT

MapReduce is a popular parallel computing paradigm for Big Data processing in clusters and data centers. It is observed that different job execution orders and MapReduce slot configurations for a MapReduce workload have significantly different performance with regarding to the makespan, total completion time, system utilization and other performance metrics. There are quite a few algorithms on minimizing makespan of multiple MapReduce jobs. However, these algorithms are heuristic or suboptimal. The best known algorithm for minimizing the makespan is 3-approximation by applying Johnson rule. In this paper, we propose an approach called UAAS algorithm to meet the conditions of classical Johnson model. Then we can still use Johnson model for an optimal solution. We explain how to adapt to Johnson model and provide a few key features of our proposed method.

研究の動機と目的

• 複数のMapReduceジョブにおけるマケスパン最小化のための最適なオフラインスケジューリングのギャップを埋める。
• 最適なマケスパンを保証しないヒューリスティックまたは部分最適なアルゴリズム（例：MK_JR や BalancedPools）の制限を克服する。
• ジョンソンのモデルの最適性条件を満たすために、ジョブ順序とスロット構成を動的に適応させるスケジューリング手法を開発する。
• クラスタリソースの可用性が変化しても、提案手法が安定的かつ最適なジョブ順序を保証することを検証する。

提案手法

• UAASアルゴリズムは、マップリダースケジューリング問題を再定式化し、ジョンソンの古典的2台フローチャネルモデルの制約を満たすことで、最適スケジューリングを可能にする。
• マップおよびリダーステージの実行時間に基づき、ジョブ実行順序を動的に決定し、ジョンソンのルールに従って最適な順序を保証する。
• マケスパンを最小化するために、スロット割り当て比（ρ = |S^M|/|S^R|）を適応的に調整し、実行時間と利用可能なスロット数の比例関係を維持する。
• スロットの可用性に基づくジョブ実行時間の変換を用いる：T’_i^M = T_i^M × (|S^M| / |S_x^M|) および T’_i^R = T_i^R × (|S^R| / |S_x^R|)，これによりジョブ間の相対的実行時間順序が保持される。
• ジョブ実行時間の比例的スケーリングにより、スレーブノード総数の変更に対してもジョブ順序が安定することが保証される。
• 理論的分析を活用して、最適なスロット構成がワークロード、ジョブ順序、および総スロット数に依存することを証明する。

実験結果

リサーチクエスチョン

• RQ1 ジョンソンのモデルに適合させることで、複数のMapReduceジョブに対する最適なオフラインスケジューリングアルゴリズムを設計できるか？
• RQ2 動的ジョブ順序付けとスロット構成が、MapReduceクラスタにおけるマケスパン最小化にどのように影響するか？
• RQ3 既存のヒューリスティック手法（例：MK_JR や BalancedPools）がリソース変更時に最適マケスパンを達成できないのはなぜか？
• RQ4 MapReduceスケジューリングアルゴリズムが最適マケスパンを保証するためにはどのような条件を満たす必要があるか？
• RQ5 マップスロットとリダースロットの比（ρ）が最終的なマケスパンにどのように影響するか、そして最適化可能か？

主な発見

• UAASアルゴリズムは、ジョンソンのモデルのすべての条件を満たすことにより、1-近似解を達成し、最適なマケスパンを実現する。
• MK_JR（3-近似アルゴリズム）とは異なり、UAASは最適性能を保証し、テスト環境では最大86.17％のマケスパン削減を達成する。
• ノード障害などのクラスタサイズ変更に対しても、UAASのジョブ順序は安定しているが、MK_JR や BalancedPools は一貫性のない部分最適な順序を生成する。
• 最適なスロット比 ρ は、ワークロード特性、ジョブ順序、および利用可能な総スロット数に依存し、C_max の導出式に明示的に表現される。
• 広範な理論的分析により、UAASが BalancedPools などのヒューリスティック代替手法を上回ることが確認された。BalancedPools は、負荷分散の悪さと固定プール割り当ての制限により性能が劣る。
• 本手法は、利用可能なすべてのマップおよびリダースロットを完全に活用し、空き時間の最小化とシステムスルーレットの最大化を実現する。