[論文レビュー] Near-Data Scheduling for Data Centers with Multiple Levels of Data Locality

Ali Yekkehkhany|arXiv (Cornell University)|Feb 24, 2017

Cloud Computing and Resource Management参考文献 13被引用数 12

ひとこと要約

本稿では、ローカルメモリ、ローカルディスク、リモートの3レベルのデータローカリティを備えたデータセンター向けに、Balanced-Pandasと呼ばれる新しい負荷分散アルゴリズムを提案する。これはJSQ-MWおよびPandasを拡張したものであり、スループット最適性とハイフロウ・オプティマルティを両立させることに成功し、従来のアルゴリズムが解決できない性能-スループットのトレードオフを解消する。知る限り、これは3レベルのデータローカリティスケジューリングにおける理論的に厳密なソリューションである。

ABSTRACT

Data locality is a fundamental issue for data-parallel applications. Considering MapReduce in Hadoop, the map task scheduling part requires an efficient algorithm which takes data locality into consideration; otherwise, the system may become unstable under loads inside the system's capacity region and jobs may experience longer completion times which are not of interest. The data chunk needed for any map task can be in memory, on a local disk, in a local rack, in the same cluster or even in another data center. Hence, unless there has been much work on improving the speed of data center networks, different levels of service rates still exist for a task depending on where its data chunk is saved and from which server it receives service. Most of the theoretical work on load balancing is for systems with two levels of data locality including the Pandas algorithm by Xie et al. and the JSQ-MW algorithm by Wang et al., where the former is both throughput and heavy-traffic optimal, while the latter is only throughput optimal, but heavy-traffic optimal in only a special traffic load. We show that an extension of the JSQ-MW algorithm for a system with thee levels of data locality is throughput optimal, but not heavy-traffic optimal for all loads, only for a special traffic scenario. Furthermore, we show that the Pandas algorithm is not even throughput optimal for a system with three levels of data locality. We then propose a novel algorithm, Balanced-Pandas, which is both throughput and heavy-traffic optimal. To the best of our knowledge, this is the first theoretical work on load balancing for a system with more than two levels of data locality. This is more challenging than two levels of data locality as a dilemma between performance and throughput emerges.

研究の動機と目的

• 2つ以上のデータローカリティレベルを有するデータセンターにおける理論的負荷分散ソリューションの欠如に取り組むこと。
• 3つのデータローカリティレベルを有するシステムにおいて、従来のアルゴリズムが両方の最適性を達成できない性能-スループットのトレードオフを解消すること。
• 高負荷下でもタスク完了時間が短く保たれると同時に、システムの安定性とスループットの最大化を確保するスケジューリングアルゴリズムを設計すること。
• Balanced-Pandasが3レベルのローカリティモデルにおいて、スループット最適性およびハイフロウ・オプティマルティの両方を達成することを形式的に証明すること。
• 階層的データアクセス速度を持つ現代のデータセンターアーキテクチャにおけるニアデータスケジューリングの理論的基盤を確立すること。

提案手法

• JSQ-MWおよびPandasアルゴリズムを拡張し、ローカルメモリ、ローカルディスク、リモートストレージという3つの明確なデータローカリティレベルをモデル化する。
• データの近接性とサービスレートに基づいて、4種類のサーバータイプにワークロードを分配する理想の負荷分解メカニズムを導入する。
• 異なるデータアクセス遅延とサービスレートをモデル化するため、4種類のサーバータイプを備えたキューイング構造を採用し、正確な負荷分散を可能にする。
• フラッド・リミット解析およびステートスペースコラプス技術を用いて、ハイフロウ下での安定性と最適性を証明する。
• リャプノフドリフトおよびマルティンググ法を用いてキューイング遅延をバウンディングし、最適パフォーマンスへの収束を確立する。
• キュー長とデータローカリティレベルの両方に基づいてタスクを優先順位付けする、新しいスケジューリングルールを導出する。

実験結果

リサーチクエスチョン

• RQ1 3レベルのデータローカリティを持つシステムにおいて、負荷分散アルゴリズムがスループット最適性およびハイフロウ・オプティマルティの両方を達成できるか？
• RQ2 なぜJSQ-MWやPandasといった従来のアルゴリズムは、3レベルシステムにおいてハイフロウ・オプティマルティを達成できないのか？
• RQ3 パフォーマンスとスループットを両立させるために、マルチレベルローカリティ環境におけるスケジューリングポリシーに必要な構造的および動的特性は何か？
• RQ4 データローカリティとサービスレートの差を反映するために、ワークロードをサーバータイプに最適に分解する方法は何か？
• RQ5 このような階層的データセンター・アーキテクチャにおいて、安定性と最小限のタスク完了時間の両方を保証する理論的フレームワークは存在するか？

主な発見

• Balanced-Pandasは、3レベルのデータローカリティを持つシステムにおいて、スループット最適性およびハイフロウ・オプティマルティの両方を証明しており、重要な理論的ギャップを埋めている。
• JSQ-MWアルゴリズムはスループット最適性を達成しているが、一般の負荷条件下ではハイフロウ・オプティマルティを達成できない。これは特別なトラフィック条件でのみ成立する。
• Pandasアルゴリズムは3レベルシステムにおいて、そもそもスループット最適性を達成できないため、マルチレベルローカリティ向けの設計に根本的な欠陥があることが示された。
• シミュレーション結果から、Balanced-Pandasは特に高負荷下でJSQ-MWやPandasよりも顕著に低い平均タスク完了時間を達成している。
• Balanced-Pandasは、すべてのサーバータイプで安定したキューイング動作を維持しており、ハイフロウ状態下では理論的予測と一致するワークロード比率を示している。
• 理論的解析により、Balanced-Pandasがシステム負荷が容量に近づくに従い、最適パフォーマンスに収束することが確認され、システムサイズに伴い有利にスケーリングする遅延バウンディングが得られた。