[論文レビュー] OS4M: Achieving Global Load Balance of MapReduce Workload by Scheduling at the Operation Level

Liya Fan, Bo Gao+2 more|arXiv (Cornell University)|Jun 16, 2014

Cloud Computing and Resource Management参考文献 25被引用数 4

ひとこと要約

OS4M は、マップ操作の統計を分析し、動的最適化によりリダース操作の分散を最適化することで、細粒度の操作レベルのスケジューリングを提案する。マップタスクからのリダースコピー段階の分離と、負荷に基づくパイプライン処理により、ベースラインの Hadoop と比較してジョブ完了時間を最大 42% 削減する。

ABSTRACT

The efficiency of MapReduce is closely related to its load balance. Existing works on MapReduce load balance focus on coarse-grained scheduling. This study concerns fine-grained scheduling on MapReduce operations, with each operation representing one invocation of the Map or Reduce function. By default, MapReduce adopts the hash-based method to schedule Reduce operations, which often leads to poor load balance. In addition, the copy phase of Reduce tasks overlaps with Map tasks, which significantly hinders the progress of Map tasks due to I/O contention. Moreover, the three phases of Reduce tasks run in sequence, while consuming different resources, thereby under-utilizing resources. To overcome these problems, we introduce a set of mechanisms named OS4M (Operation Scheduling for MapReduce) to improve MapReduce's performance. OS4M achieves load balance by collecting statistics of all Map operations, and calculates a globally optimal schedule to distribute Reduce operations. With OS4M, the copy phase of Reduce tasks no longer overlaps with Map tasks, and the three phases of Reduce tasks are pipelined based on their operation loads. OS4M has been transparently incorporated into MapReduce. Evaluations on standard benchmarks show that OS4M's job duration can be shortened by up to 42%, compared with a baseline of Hadoop.

研究の動機と目的

• 粗粒度のスケジューリングとハッシュベースのリダース割り当てによる MapReduce の悪い負荷バランスを是正すること。
• マップとリダースのコピー段階が重複することで発生する I/O 競合を軽減すること。
• 操作レベルの負荷に基づいて、リダースタスクの三段階の順次段階（マップ、シャッフル、リダース）をパイプライン化することで、リソース利用効率を向上させること。
• 個々のマップおよびリダース操作の集中管理された統計駆動型スケジューリングにより、グローバルな負荷バランスを実現すること。
• アプリケーションやコアフレームワークを変更せずに、Hadoop に透明に統合できること。

提案手法

• すべてのマップ操作の実行時統計を収集し、実行負荷とデータ量を推定する。
• 負荷に配慮したヒューリスティクスを用いて、ノード間の作業をバランスさせるグローバル最適スケジュールを計算する。
• リダースコピー段階をマップタスク実行から分離することで、I/O 競合を排除し、同時に進行を可能にする。
• 操作レベルの負荷に基づいて、マップ、シャッフル、リダース段階を重ねて実行するように、リダース段階のパイプラインを再設計する。
• アプリケーションやコアフレームワークを変更せずに、Hadoop 内部に透明なレイヤーとして OS4M を統合する。
• リアルタイムの負荷とデータローカリティに基づいて、操作レベルのスケジューリングを用いてリダースタスクをノードに動的に割り当てる。

実験結果

リサーチクエスチョン

• RQ1 操作レベルのスケジューリングは、MapReduce のワークロードにおけるグローバルな負荷バランスを顕著に改善できるか？
• RQ2 マップ実行からリダースコピーを分離することで、I/O 競合をどれほど軽減でき、全体のスループットをどれほど向上できるか？
• RQ3 操作レベルの負荷メトリクスに基づいて、リダースタスクの三段階をパイプライン化することで、どれほど効果的にリソース利用が向上するか？
• RQ4 ハッシュベースのスケジューリングを統計駆動型のグローバル最適化戦略に置き換えることで、どの程度のパフォーマンス向上が達成できるか？
• RQ5 OS4M は、アプリケーションレベルの変更なしに、既存の Hadoop デプロイメントに透明に統合可能か？

主な発見

• OS4M は、標準の Hadoop ベンチマークにおいて、ベースラインの Hadoop 実装と比較してジョブ完了時間を最大 42% 削減する。
• マップとリダースのコピー段階間の I/O 競合の排除により、特に I/O 適応型ワークロードで顕著なパフォーマンス向上が得られる。
• 操作レベルの負荷に基づいてリダースタスクの三段階をパイプライン化することで、リソース利用効率が向上し、無駄な待機時間が削減される。
• グローバル統計を用いたスケジューリングにより、ノード間での負荷バランスが向上し、タスク完了時間のばらつきが低減する。
• OS4M は、ユーザーのアプリケーションや Hadoop コアフレームワークの変更なしに、パフォーマンス向上を達成する。
• 本アプローチは、多様なワークロードにおいて一貫した向上効果を示しており、大規模データ処理における操作レベルスケジューリングの有効性を確認する。