[論文レビュー] DRESS: Dynamic RESource-reservation Scheme for Congested Data-intensive Computing Platforms

Ying Mao, Victoria Green+3 more|arXiv (Cornell University)|May 21, 2018

Cloud Computing and Resource Management被引用数 5

ひとこと要約

DRESSは、データ集約型コンピューティングプラットフォーム向けの動的リソース予約方式であり、ジョブを小規模および大規模なリソース要件に分類し、それぞれに専用リソースを予約し、リアルタイムのジョブ要件と予想解放パターンに基づいて予約比率を動的に調整する。Hadoop YARN上で、小規模ジョブの平均完了時間を最大76.1％まで短縮する一方で、全体のシステム性能を安定的に維持する。

ABSTRACT

In the past few years, we have envisioned an increasing number of businesses start driving by big data analytics, such as Amazon recommendations and Google Advertisements. At the back-end side, the businesses are powered by big data processing platforms to quickly extract information and make decisions. Running on top of a computing cluster, those platforms utilize scheduling algorithms to allocate resources. An efficient scheduler is crucial to the system performance due to limited resources, e.g. CPU and Memory, and a large number of user demands. However, besides requests from clients and current status of the system, it has limited knowledge about execution length of the running jobs, and incoming jobs' resource demands, which make assigning resources a challenging task. If most of the resources are occupied by a long-running job, other jobs will have to keep waiting until it releases them. This paper presents a new scheduling strategy, named DRESS that particularly aims to optimize the allocation among jobs with various demands. Specifically, it classifies the jobs into two categories based on their requests, reserves a portion of resources for each of category, and dynamically adjusts the reserved ratio by monitoring the pending requests and estimating release patterns of running jobs. The results demonstrate DRESS significantly reduces the completion time for one category, up to 76.1% in our experiments, and in the meanwhile, maintains a stable overall system performance.

研究の動機と目的

• 混雑したデータ集約型クラスタにおける小リソース要件ジョブの長時間待機と性能劣化の問題に対処すること。
• 全体のシステム安定性を損なわず、小要件ジョブのジョブ完了時間を短縮すること。
• リアルタイムのジョブキューの動態とリソース解放パターンに適応する動的リソース予約メカニズムを設計すること。
• Hadoop YARN環境における並列処理とリソース利用効率を向上させるスケジューラの実装と評価を行うこと。

提案手法

• 入力ジョブをリソース要件に基づき2つのカテゴリ（小規模および大規模）に分類する。
• 動的予約比率を用いて、各ジョブカテゴリに設定可能なリソースの一部を予約する。
• 保留中のジョブ要件のリアルタイム監視と実行中のジョブの予想解放時刻に基づき、予約比率を動的に調整する。
• 実行中のジョブのリソース解放パターンの推定を実施し、リソースがいつ解放されるかを予測する。
• キュー内の小規模ジョブの割合に基づいて、予約比率を制御するためのアルゴリズム3を採用する。
• MapReduceおよびSparkワークロードを対象に、Hadoop YARNプラットフォーム上でエンドツーエンドの評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 混雑したデータ集約型クラスタにおいて、小要件ジョブのリソース割り当てをどのように改善できるか？
• RQ2 動的リソース予約がジョブ完了時間と全体的なシステムパフォーマンスに与える影響は何か？
• RQ3 リアルタイムのジョブキューおよびリソース解放パターンに基づく予約比率の調整がスケジューリング効率に与える影響は何か？
• RQ4 動的リソース予約を用いることで、大規模ジョブや全体のシステム安定性に悪影響を与えることなく、小規模ジョブの待ち時間をどの程度短縮できるか？

主な発見

• 40％の小規模ジョブを含む混合ワークロードにおいて、DRESSは小規模ジョブの平均完了時間を最大76.1％まで短縮した。
• Spark-on-YARNの実験では、小規模ジョブの平均完了時間が51.2％短縮され、最大で76.1％短縮された。
• Hadoop YARN実験において20ジョブの環境で、小規模ジョブの平均完了時間が25.7％短縮された。
• 全体のシステムマクスパンは安定しており、DRESSは1035.2秒、Capacityスケジューラは1028.6秒を記録した。
• 一部の大規模ジョブ（例：ジョブ7）は完了時間が延長された（最大29.3％長くなったが）、20ジョブ中12ジョブで平均して18.5％の完了時間短縮が達成された。
• ジョブ9、12、13の性能は顕著に向上し、それぞれ23.2％、17.5％、10.0％の完了時間短縮が達成された。