[論文レビュー] Affinity Scheduling and the Applications on Data Center Scheduling with Data Locality

Mohammadamir Kavousi|arXiv (Cornell University)|May 9, 2017

Cloud Computing and Resource Management参考文献 2被引用数 4

ひとこと要約

本稿では、ローカル、ラックローカル、リモートの3段階のデータローカリティを持つデータセンターにおける、重み付きワークロードルーティングおよび優先順位スケジューリングアルゴリズムを提案する。このアルゴリズムは、スループット最適性および重交通最適性を両立させ、到着率が容量領域内であればシステムの安定性を保証するとともに、高負荷下での平均タスク完了時間を最小化する。既存のヒューリスティックベースの手法（Delay Scheduling や Quincy など）を凌駕する性能を示す。

ABSTRACT

MapReduce framework is the de facto standard in Hadoop. Considering the data locality in data centers, the load balancing problem of map tasks is a special case of affinity scheduling problem. There is a huge body of work on affinity scheduling, proposing heuristic algorithms which try to increase data locality in data centers like Delay Scheduling and Quincy. However, not enough attention has been put on theoretical guarantees on throughput and delay optimality of such algorithms. In this work, we present and compare different algorithms and discuss their shortcoming and strengths. To the best of our knowledge, most data centers are using static load balancing algorithms which are not efficient in any ways and results in wasting the resources and causing unnecessary delays for users.

研究の動機と目的

• データセンターで使用される既存のヒューリスティックベースのデータローカリティスケジューリングアルゴリズムに理論的保証が欠けている問題に対処すること。
• 複数のデータローカリティレベル（ローカル、ラックローカル、リモート）を持つシステムにおけるリアルタイムスケジューリングアルゴリズムのスループットおよび遅延最適性を、分析・比較すること。
• システムの安定性（スループット最適性）を保証するとともに、高負荷下での平均タスク完了時間を最小化する（重交通最適性）スケジューリングアルゴリズムを設計すること。
• リャプノフのドリフトおよびフラUIDモデル解析を用いて、提案アルゴリズムの最適性特性を形式的に証明すること。
• Pandas や JSQ-MaxWeight といった既存のアルゴリズムが、3段階のデータローカリティ環境では最適性を維持できない理由を明らかにすること。

提案手法

• M台のサーバーがKラックにグループ化された離散時間キューイングモデルを用いる。各タスクタイプは、3台のサーバーに格納されたデータチャンクに対応する。
• サービス時間は幾何分布でモデル化：ローカル（Geo(α)）、ラックローカル（Geo(β)）、リモート（Geo(γ)）であり、α > β > γ とする。
• 各サーバーの重み付きワークロードを Wₘ(t) = Qₘˡ(t)/α + Qₘᵏ(t)/β + Qₘʳ(t)/γ と定義し、キューに待機中のタスクの期待サービス遅延を表す。
• 重み付きワークロードルーティングを実装：新規タスクは、データローカリティレベルを考慮した最小の重み付きワークロードを持つサーバーに割り当てる。
• 優先順位スケジューリングを適用：空きサーバーは、まずローカルタスクを処理し、次にラックローカルタスク、最後にリモートタスクを処理することで、ローカリティ優先を確保する。
• スループット最適性の証明に、Lyapunov関数 V(t) = Σₘ (Wₘ(t))² を用い、Foster-Lyapunov安定性定理を適用する。

実験結果

リサーチクエスチョン

• RQ1 3段階のデータローカリティを持つデータセンターにおいて、スケジューリングアルゴリズムがスループット最適性と重交通最適性の両方を達成できるか？
• RQ2 Delay Scheduling や Quincy といった既存のヒューリスティックアルゴリズムは、理論的最適性保証においてどの程度の性能を示すか？
• RQ3 2段階のデータローカリティ環境では最適性を達成するが、3段階環境では最適性を維持できない2段階アルゴリズム（Pandas や JSQ-MaxWeight）の理由は何か？
• RQ4 重み付きワークロードルーティングおよび優先順位スケジューリングアルゴリズムが重交通最適性を示す条件は何か？
• RQ5 すべての負荷領域で安定性と最小遅延を保証する統合型スケジューリングフレームワークを設計できるか？

主な発見

• 重み付きワークロードルーティングおよび優先順位スケジューリングアルゴリズムは、容量領域内に存在する任意の到着率ベクトルに対して、スループット最適性が保証され、システムの安定性が成立することが証明された。
• β² > αγ を満たす条件下では、アルゴリズムは重交通最適性を達成し、システムが容量に近づくに従い平均タスク完了時間を最小化する。
• 拡張版の JSQ-MaxWeight アルゴリズムはスループット最適性を達成するが、すべてのトラフィック状況で重交通最適性を満たさない。
• 2段階データローカリティ環境では最適性を達成するが、3段階環境ではスループット最適性を満たさないPandasアルゴリズムの失敗が確認された。
• Delay Scheduling や Quincy といった既存のヒューリスティックアルゴリズムは、スループットおよび遅延最適性に関する理論的保証を欠いている。
• 提案されたアルゴリズムは、高負荷下でも安定性と最小遅延を両立させる点で、先行手法を上回る性能を示した。