[論文レビュー] Improving the Load Balance of MapReduce Operations based on the Key Distribution of Pairs

Liya Fan, Bo Gao+3 more|arXiv (Cornell University)|Jan 2, 2014

Cloud Computing and Resource Management参考文献 26被引用数 8

ひとこと要約

この論文は、中間キー値ペアのキー分布を分析することで、負荷バランスを向上させる細粒度スケジューリングアルゴリズムを提案する。処理割り当てをバランスの取れた部分和（BSS）問題として定式化し、正確なおよび近似アルゴリズムを用いることで、PUMAベンチマークにおいてジョブ実行時間を最大37％短縮し、動的ワークロード適応とパイプライン機構によるリソース利用効率の向上により、標準的なMapReduceを凌駆する。

ABSTRACT

Load balance is important for MapReduce to reduce job duration, increase parallel efficiency, etc. Previous work focuses on coarse-grained scheduling. This study concerns fine-grained scheduling on MapReduce operations. Each operation represents one invocation of the Map or Reduce function. Scheduling MapReduce operations is difficult due to highly screwed operation loads, no support to collect workload statistics, and high complexity of the scheduling problem. So current implementations adopt simple strategies, leading to poor load balance. To address these difficulties, we design an algorithm to schedule operations based on the key distribution of intermediate pairs. The algorithm involves a sub-program for selecting operations for task slots, and we name it the Balanced Subset Sum (BSS) problem. We discuss properties of BSS and design exact and approximation algorithms for it. To transparently incorporate these algorithms into MapReduce, we design a communication mechanism to collect statistics, and a pipeline within Reduce tasks to increase resource utilization. To the best of our knowledge, this is the first work on scheduling MapReduce workload at this fine-grained level. Experiments on PUMA [T+12] benchmarks show consistent performance improvement. The job duration can be reduced by up to 37%, compared with standard MapReduce.

研究の動機と目的

• 粗粒度スケジューリングと不均一な処理ワークロードによるMapReduceにおける負荷バランスの悪さを是正すること。
• 中間キーの分布に基づいて、個々のMapおよびReduce関数の呼び出しを細粒度でスケジューリングすること。
• MapReduceにおいて実行時ワークロード統計を透明に収集するための通信メカニズムを設計すること。
• Reduceタスク内の内部パイプラインにより、リソース利用効率を最大化すること。
• 関数呼び出しの細粒度レベルにおけるMapReduce処理のスケジューリングのための、最初の体系的アプローチを提供すること。

提案手法

• 処理スケジューリング問題を、タスクスロット間でのワークロードバランスを取るために、バランスの取れた部分和（BSS）問題として定式化する。
• 高い複雑性制約下でも効率的にBSS問題を解くための正確なアルゴリズムと近似アルゴリズムを設計する。
• コアMapReduceフレームワークを変更せずに、中間キー分布統計を収集するための軽量な通信メカニズムを実装する。
• 計算とデータ転送を重ねて実行するためのReduceタスク内に内部パイプラインを導入し、リソース利用効率を向上させる。
• 提案されたアルゴリズムとメカニズムを、既存のMapReduceアーキテクチャに透明に統合する。
• キーの頻度と分布パターンを活用して、タスクスロットへの処理の動的割り当てを最適化し、負荷バランスを実現する。

実験結果

リサーチクエスチョン

• RQ1 MapReduce処理の細粒度スケジューリングは、粗粒度アプローチと比較して、どのように負荷バランスを改善できるか？
• RQ2 中間キー分布に基づいて、タスクスロット間でのワークロードバランスを図る有効な定式化は何か？
• RQ3 バランスの取れた部分和（BSS）問題は、分散環境において実用的であるほどに効率的に解けるか？
• RQ4 MapReduceにおいて、顕著なオーバーヘッドを伴わずに、実行時ワークロード統計をどのように透明に収集できるか？
• RQ5 Reduceタスク内でのパイプライン実行は、リソース利用効率とジョブ完了時間にどの程度の向上をもたらすか？

主な発見

• 提案されたスケジューリングアルゴリズムは、PUMAベンチマークにおいて標準的なMapReduceと比較して、ジョブ実行時を最大37％短縮した。
• バランスの取れた部分和（BSS）定式化により、キー頻度と分布に基づいて処理を分散させることで、効果的な負荷バランスが実現された。
• BSSのための近似アルゴリズムは、著しく低い計算コストでほぼ最適な性能を達成した。
• キー分布統計の収集のための通信メカニズムは、透明に動作し、最小限のオーバーヘッドを伴った。
• Reduceタスク内へのパイプライン統合によりリソース利用効率が向上し、パフォーマンス向上に寄与した。
• 本アプローチは、多様なワークロードにおいて一貫したパフォーマンス向上を達成しており、強靭性とスケーラビリティを示した。