[論文レビュー] Practical Size-based Scheduling for MapReduce Workloads

Mario Pastorelli, Barbuzzi, Antonio+3 more|arXiv (Cornell University)|Feb 12, 2013

Cloud Computing and Resource Management参考文献 26被引用数 11

ひとこと要約

本稿では、実行中にジョブサイズを動的に推定し、遅延予約によるプリエンプションを用いてジョブ滞留時間を最小化する実用的なサイズベースでプリエンプティブなスケジューラであるHFSPを提案する。実際のワークロードトレースを用いた評価において、HFSPはFIFOおよびFAIRスケジューラと比較して平均ジョブ滞留時間を顕著に短縮し、共有でマルチテナントなクラスタにおいてより良い公平性とリソース利用効率を達成している。

ABSTRACT

We present the Hadoop Fair Sojourn Protocol (HFSP) scheduler, which implements a size-based scheduling discipline for Hadoop. The benefits of size-based scheduling disciplines are well recognized in a variety of contexts (computer networks, operating systems, etc...), yet, their practical implementation for a system such as Hadoop raises a number of important challenges. With HFSP, which is available as an open-source project, we address issues related to job size estimation, resource management and study the effects of a variety of preemption strategies. Although the architecture underlying HFSP is suitable for any size-based scheduling discipline, in this work we revisit and extend the Fair Sojourn Protocol, which solves problems related to job starvation that affect FIFO, Processor Sharing and a range of size-based disciplines. Our experiments, in which we compare HFSP to standard Hadoop schedulers, pinpoint at a significant decrease in average job sojourn times - a metric that accounts for the total time a job spends in the system, including waiting and serving times - for realistic workloads that we generate according to production traces available in literature.

研究の動機と目的

• Hadoopワークロードが小規模で反復的なジョブに支配される中で、インタラクティブ性の向上という急増するニーズに対応すること。
• ジョブが待機および実行する合計時間（滞留時間）を短縮するが、公平性やクラスタの利用効率を損なわないこと。
• ジョブサイズが事前に分かっていない状況でも実用的なサイズベースのスケジューリングシステムを設計すること。
• タスクの終了を避けるプリエンプションメカニズムを実装し、効率的な再開を可能にし、無駄な作業を減らすこと。
• 生産環境標準のスケジューラ（FIFOおよびFAIR）と比較するため、現実的でトレース駆動のワークロードを用いてHFSPを評価すること。

提案手法

• HFSPは、タスクの進行状況とタスク実行時間の統計的モデリングに基づいてサイズを推定する、プラグイン可能なジョブサイズ推定モジュールを採用している。
• 小規模ジョブの優先順位付けとスターヴェーションの防止を実現するため、修正版のファイア・ソジューンプロトコルを実装している。
• 実行中のジョブを中断・再開できるエージャスプリエンプションプリミティブを採用しており、リソースの無駄を最小限に抑える。
• 推定されたジョブサイズと現在のクラスタ負荷に基づいて、リソース割り当てを動的に調整している。
• モジュラーでオープンソースのHadoopプラグインとしてアーキテクチャ設計されており、既存のHadoop展開への統合を可能にしている。
• 評価のため、生産環境のワークロードトレースを用いて現実的なジョブワークロードを生成している。

実験結果

リサーチクエスチョン

• RQ1 ジョブサイズを事前に知らない状況下でも、サイズベースでプリエンプティブなスケジューリング方式が、Hadoopにおける平均ジョブ滞留時間を顕著に短縮できるか？
• RQ2 現実的ワークロード下で、HFSPは標準のHadoopスケジューラ（FIFOおよびFAIR）と比較して、滞留時間とリソース利用効率の点で優れているか？
• RQ3 エージャスプリエンプションとタスクの殺害の両者を比較した場合、システム効率とジョブ完了時間にどのような影響があるか？
• RQ4 ジョブサイズが事前に不明な状況下でも、動的ジョブサイズ推定がスケジューリング意思決定の質を向上させるのにどの程度効果的か？
• RQ5 小規模でインタラクティブなジョブを優先しつつも、HFSPはジョブ間の公平性を維持できるか？

主な発見

• HFSPは、現実的で生産レベルのワークロードにおいて、FIFOおよびFAIRスケジューラと比較して平均ジョブ滞留時間を顕著に短縮している。
• 滞留時間の短縮は特に小規模および中規模ジョブで顕著であり、サイズベースの優先順位付けにより待機時間が短縮されている。
• HFSPは重い負荷下でも高いクラスタ利用効率を達成しており、効率的なリソース管理を示している。
• エージャスプリエンプションは、無駄な作業を減らし、中断されたジョブの回復をより迅速に可能にするため、タスクの殺害を上回る性能を発揮している。
• 動的サイズ推定モジュールは、タスクの進行状況と統計的モデルを用いてジョブ実行時間を効果的に予測し、適切なスケジューリング意思決定を可能にしている。
• オープンソースのHFSPスケジューラは、実際のHadoopクラスタへのデプロイが可能であり、既存のHadoopコンponentsと統合可能である。