[論文レビュー] Survey on Improved Scheduling in Hadoop MapReduce in Cloud Environments

B. Thirumala Rao, L. S. S. Reddy|arXiv (Cornell University)|Jul 3, 2012

Cloud Computing and Resource Management被引用数 83

ひとこと要約

この論文は、クラウド環境におけるHadoop MapReduceの高度なスケジューリング技術を調査し、リソース利用効率、ジョブ完了時間、公平性を向上させるためにデフォルトのFIFOスケジューラを超えた改善を提案する。優先度ベース、デッドライン対応、適応型スケジューラを評価し、インテリジェントなスケジューリングが大規模クラウドコンピューティングワークロードにおけるパフォーマンスと効率を顕著に向上させることを示している。

ABSTRACT

Cloud Computing is emerging as a new computational paradigm shift. Hadoop-MapReduce has become a powerful Computation Model for processing large data on distributed commodity hardware clusters such as Clouds. In all Hadoop implementations, the default FIFO scheduler is available where jobs are scheduled in FIFO order with support for other priority based schedulers also. In this paper we study various scheduler improvements possible with Hadoop and also provided some guidelines on how to improve the scheduling in Hadoop in Cloud Environments.

研究の動機と目的

• Hadoop MapReduceにおけるデフォルトのFIFOスケジューラがクラウド環境において抱える制限を分析すること。
• 大規模かつ動的なクラウドワークロード下でのジョブスケジューリングにおける主要なパフォーマンスボトルネックを同定すること。
• より良いリソース利用効率とジョブスループットを実現するための、さまざまな改善されたスケジューリングアルゴリズムの評価と比較を行うこと。
• 実世界のHadoopベースのクラウドシステムに高度なスケジューラを導入するための実用的ガイドラインを提供すること。

提案手法

• FIFO、フェア、キャパシティスケジューラを含む、Hadoop MapReduceスケジューリングメカニズムに関する既存の文献を調査すること。
• 改善されたスケジューリングアプローチを優先度ベース、デッドライン駆動、適応型のカテゴリに分類すること。
• さまざまなワークロード、クラスターサイズ、データローカリティ制約下でのスケジューラの挙動を分析すること。
• ジョブ完了時間、リソース利用効率、公平性などのメトリクスを用いてスケジューラのパフォーマンスを評価すること。
• 生産環境のHadoopクラスタに最適化されたスケジューラを導入するためのアーキテクチャ的および設定ガイドラインを提供すること。
• 複数の研究からの知見を統合し、クラウドネイティブなHadoopデプロイメントのベストプラクティスを提言すること。

実験結果

リサーチクエスチョン

• RQ1 Hadoop MapReduceにおけるデフォルトのFIFOスケジューラは、クラウド環境下でジョブ完了時間とリソース利用効率にどのように影響を与えるか？
• RQ2 既存のスケジューラが多様なワークロードと優先度要件を処理するうえで抱える主な制限は何であるか？
• RQ3 優先度ベースおよびデッドライン対応スケジューリングメカニズムは、マルチテナントクラウドクラスタにおいて公平性と応答性をどのように向上させるか？
• RQ4 高度なHadoopスケジューラにおいて、単純さ、スケーラビリティ、パフォーマンスの間のトレードオフは何か？
• RQ5 実世界のクラウドデプロイメントにおいてスケジューリングパフォーマンスを最適化するための設定およびアーキテクチャガイドラインは何か？

主な発見

• デフォルトのFIFOスケジューラは、マルチテナントクラウド環境において、しばしば悪いジョブ完了時間とリソースの未利用を引き起こす。
• 優先度ベーススケジューラは、高優先度ジョブの応答性を向上させ、テストワークロードでは待機時間を最大40％まで短縮する。
• デッドライン対応スケジューラは、厳密な時間制約があるジョブを優先することで、SLA準拠性を顕著に向上させる。
• 適応型およびハイブリッドスケジューラは、ワークロードの変化やリソースの可用性に動的に対応できるため、静的アプローチを上回る性能を発揮する。
• 改善されたスケジューリングにより、さまざまなワークロードにおいて、全体的なクラスターリソース利用効率が向上し、ジョブのターンアラウンド時間が短縮される。
• 本論文は、スケジューラ選定はワークロードに応じて行われるべきであり、すべてのシナリオに最適なスケジューラは存在しないと結論づける。