[論文レビュー] Managing Deadline-constrained Bag-of-Tasks Jobs on Hybrid Clouds

Bo Wang, Ying Song+2 more|arXiv (Cornell University)|Apr 28, 2016

Cloud Computing and Resource Management参考文献 16被引用数 9

ひとこと要約

本稿では、混合クラウドにおけるデッドライン制約付きのタスク集合（BoT）ジョブのスケジューリングのためのヒューリスティックアルゴリズムを提案する。この手法は、パブリッククラウドのリースコストを最小限に抑えつつ、ローカルリソースの利用効率を最大化することを目的としている。デッドラインに最も近いタスクを優先し、動的にコスト効率の高い物理マシンまたは仮想マシン（VM）をプロビジョニングすることで、従来のFirst-Fit Decreasing（FFD）と比較してリースコストを16.2%〜76%削減し、リソース利用効率を47.3%〜182.8%向上させた。

ABSTRACT

Outsourcing jobs to a public cloud is a cost-effective way to address the problem of satisfying the peak resource demand when the local cloud has insufficient resources. In this paper, we study on managing deadline-constrained bag-of-tasks jobs on hybrid clouds. We present a binary nonlinear programming (BNP) problem to model the hybrid cloud management where the utilization of physical machines (PMs) in the local cloud/cluster is maximized when the local resources are enough to satisfy the deadline constraints of jobs, while when not, the rent cost from the public cloud is minimized. To solve this BNP problem in polynomial time, we proposed a heuristic algorithm. Its main idea is assigning the task closest to its deadline to current core until the core cannot finish any task within its deadline. When there is no available core, the algorithm adds an available PM with most capacity or rents a new VM with highest cost-performance ratio. Extensive experimental results show that our heuristic algorithm saves 16.2%-76% rent cost and improves 47.3%-182.8% resource utilizations satisfying deadline constraints, compared with first fit decreasing algorithm.

研究の動機と目的

• 異種のローカルリソースを有する混合クラウド環境において、デッドライン制約付きのタスク集合（BoT）ジョブをコスト効率よく管理する課題に対処すること。
• パブリッククラウドから仮想マシン（VM）をリースするコストを最小限に抑えつつ、ローカルの物理マシン（PM）の利用効率を最大化すること。
• 厳密なデッドライン制約下で、タスクをリソースに効果的にマッピングする多項式時間のヒューリスティックを開発すること。
• 実世界のワークロードを用いて、第一優先順位減少（FFD）ベースラインと比較してアルゴリズムの性能を評価すること。
• 科学的およびデータ集約的ワークロードを対象とした混合クラウド環境において、コスト最小化とリソース利用効率のバランスをとること。

提案手法

• ローカルPMの利用効率とパブリッククラウドのリースコストを同時に最適化する目的として、二値非線形プログラミング（BNP）モデルを定式化する。
• タスクを終了時刻とデッドラインの差分を最小化する基準でコアに割り当てるヒューリスティックアルゴリズムを提案する。
• 既存リソースでの実行がデッドライン内に不可能なタスクが存在する場合、利用可能容量が最大のPMを追加するか、コストパフォーマンス比が最良のVMをリースする。
• 各ステップで最も効率の良いローカルPMまたはパブリッククラウドVMを選択することで、リソースプールを動的に拡張する。
• 二段階戦略を採用する：まず、デッドラインのずれを最小限に抑えるために、既存コアにタスクを割り当てる。次に、必要に応じてのみ新しいリソースをプロビジョニングする。
• VMリースの優先順位を決定するためのコストパフォーマンス比指標を用い、パブリッククラウド拡張におけるコスト効率を保証する。

実験結果

リサーチクエスチョン

• RQ1 デッドライン制約付きのBoTジョブのための混合クラウドにおいて、タスクスケジューリングとリソースプロビジョニングをどのように統合最適化すれば、パブリッククラウドのリースコストを最小限に抑えられるか？
• RQ2 異種のローカルリソースは、混合クラウドジョブ管理の効率性とコストにどのような影響を及えるか？
• RQ3 NP困難なBNP定式化を対象としたヒューリスティックアルゴリズムが、多項式時間で近似的最適な性能を達成できるか？
• RQ4 提案手法は、第一優先順位減少（FFD）アルゴリズムと比較して、コスト削減とリソース利用効率の両面で優れているか？
• RQ5 すべてのジョブがデッドラインを満たすことを保証しつつ、ローカルリソース利用効率をどの程度まで高められるか？

主な発見

• 提案されたヒューリスティックアルゴリズムは、2つの実際のワークロードトレースにおいて、第一優先順位減少（FFD）アルゴリズムと比較してリースコストを16.2%〜76%削減した。
• デッドライン制約下でのリソース利用効率は、FFDと比較して47.3%〜182.8%向上し、ローカルリソース使用の効率性が優れていることが示された。
• アルゴリズムは高いスケーラビリティを備えており、多様なワークロードパターンやデッドライン制約下でも良好な性能を発揮した。
• BNPモデルは、ローカルリソース利用効率とパブリッククラウドコストのトレードオフを効果的に捉えており、コスト効率の高い混合クラウド管理を可能にした。
• ヒューリスティック解法は計算的に効率的であり、多項式時間で実行可能であり、実世界の展開に実用的である。
• アルゴリズムは、デッドラインに最も近いタスクを優先し、最もコスト効率の良いリソースを知的にプロビジョニングすることで、FFDを上回る性能を発揮した。