[論文レビュー] The Improved Job Scheduling Algorithm of Hadoop Platform

Y. Jay Guo, Linzhi Wu+3 more|arXiv (Cornell University)|Jun 9, 2015

Cloud Computing and Resource Management参考文献 3被引用数 6

ひとこと要約

この論文では、Hadoop向けのベイズ分類ベースのジョブスケジューリングアルゴリズムを提案する。このアルゴリズムは、リソース使用状況の特徴（例：CPUおよびメモリ使用率）に基づいてジョブを「良い」または「悪い」と分類し、実行に最適なジョブを動的に選択する。タスク実行結果からのフィードバックを活用することで、適応的学習によりスケジューリングの効率性と安定性を向上させ、分散環境におけるジョブ完了時間の短縮とリソース競合の低減を実現する。

ABSTRACT

This paper discussed some job scheduling algorithms for Hadoop platform, and proposed a jobs scheduling optimization algorithm based on Bayes Classification viewing the shortcoming of those algorithms which are used. The proposed algorithm can be summarized as follows. In the scheduling algorithm based on Bayes Classification, the jobs in job queue will be classified into bad job and good job by Bayes Classification, when JobTracker gets task request, it will select a good job from job queue, and select tasks from good job to allocate JobTracker, then the execution result will feedback to the JobTracker. Therefore the scheduling algorithm based on Bayes Classification influence the job classification via learning the result of feedback with the JobTracker will select the most appropriate job to execute on TaskTracker every time. We need to consider the feature usage of job resource and the influence of TaskTracker resource on task execution, the former of which we call it job feature, for instance, the average usage rate of CPU and average usage rate of memory, the latter node feature, such as the usage rate of CPU and the size of idle physical memory, the two are called feature variables. Results show that it has a significant improvement in execution efficiency and stability of job scheduling.

研究の動機と目的

• 適応的学習やリソースに配慮した意思決定を欠く従来のHadoopジョブスケジューリングアルゴリズムに起因する非効率性を是正すること。
• ベイズ分類を用いてジョブを「良い」および「悪い」の2つに分類することで、ジョブスケジューリングのパフォーマンスを向上させること。
• タスク実行結果からのフィードバックをスケジューリング意思決定に組み込むことで、システムの安定性と実行効率を高めること。
• ジョブおよびTaskTrackerのリソース特徴（例：CPUおよびメモリ使用率）を入力変数としてモデル化し、インテリジェントなスケジューリングを実現すること。
• 動的かつデータドリブンなジョブ選択を通じて、ジョブ完了時間とリソース競合を短縮すること。

提案手法

• キュー内のジョブは、履歴的なリソース使用パターンに基づいてベイズ分類を用いて「良い」または「悪い」と分類される。
• 特徴変数には、ジョブ特徴（例：平均CPUおよびメモリ使用率）とノード特徴（例：TaskTracker上の空きメモリおよびCPU使用率）が含まれる。
• JobTrackerは、過去のタスク実行からのフィードバックを用いて分類モデルを更新し、時間経過とともにジョブ選択を最適化する。
• アルゴリズムは、リソース使用率のプロファイルが良好なジョブのみをスケジューリング対象として選択する。
• 実行結果からの継続的学習により、将来のスケジューリング意思決定の質が向上し、柔軟性が向上する。
• スケジューリングプロセスは、ジョブレベルおよびノードレベルのリソース特性を統合することで、タスクの割り当てを最適化する。

実験結果

リサーチクエスチョン

• RQ1 Hadoopにおけるジョブスケジューリングをどのように改善すれば、ジョブ完了時間とリソース競合を低減できるか？
• RQ2 ベイズ分類は、リソース使用状況の特徴に基づいてジョブのパフォーマンスを効果的に予測できるか？
• RQ3 タスク実行結果からのフィードバックは、ジョブスケジューリングの正確性と効率性にどのように影響するか？
• RQ4 ジョブおよびノードの特徴変数のどの組み合わせが、スケジューリングの成功を最もよく予測するか？
• RQ5 適応的学習は、分散環境におけるHadoopのスケジューリングの安定性と効率性をどの程度向上させるか？

主な発見

• 提案されたアルゴリズムは、ベイズ分類による「良い」ジョブの特定を通じて、ジョブスケジューリングの効率性を顕著に向上させる。
• 履歴的パフォーマンスに基づくインテリジェントなジョブ選択により、リソース競合が低減され、システムの安定性が向上する。
• タスク実行結果からのフィードバックにより継続的学習が可能となり、分類の正確性が時間経過とともに向上する。
• ジョブおよびノードのリソース特徴（例：CPUおよびメモリ使用率）の統合により、より正確なスケジューリング意思決定が実現される。
• アルゴリズムは実行効率に顕著な改善を示すが、抽象では具体的な数値指標（例：完了時間の削減率）は提供されていない。