[論文レビュー] Executing Bag of Distributed Tasks on the Cloud: Investigating the Trade-offs Between Performance and Cost

Long Thai, Blesson Varghese+1 more|arXiv (Cornell University)|Oct 30, 2014

Cloud Computing and Resource Management参考文献 12被引用数 4

ひとこと要約

本稿では、データソースに近い場所でタスク実行を分散化することにより、クラウド上でのBag of Distributed Tasks（BoDT）実行におけるパフォーマンスとコストのトレードオフを最適化するヒューリスティックアルゴリズムを提案する。この手法は、データ転送時間と処理時間をモデル化し、ユーザーが定義したパフォーマンス-コストの好み（ベータパラメータを介して）を反映させ、91%のケースで最適な結果を達成する実行計画を生成する。中央集権的実行と比較して、顕著なコスト-パフォーマンスの向上を示している。

ABSTRACT

Bag of Distributed Tasks (BoDT) can benefit from decentralised execution on the Cloud. However, there is a trade-off between the performance that can be achieved by employing a large number of Cloud VMs for the tasks and the monetary constraints that are often placed by a user. The research reported in this paper is motivated towards investigating this trade-off so that an optimal plan for deploying BoDT applications on the cloud can be generated. A heuristic algorithm, which considers the user's preference of performance and cost is proposed and implemented. The feasibility of the algorithm is demonstrated by generating execution plans for a sample application. The key result is that the algorithm generates optimal execution plans for the application over 91\% of the time.

研究の動機と目的

• クラウド上でのBag of Distributed Tasks（BoDT）の実行におけるパフォーマンスと金銭的コストのトレードオフを調査すること。
• ユーザーのパフォーマンスとコストに関する好みに基づいて最適な実行計画を生成するヒューリスティックアルゴリズムを開発すること。
• コストとパフォーマンスの観点から、中央集権的実行と分散化実行戦略を比較すること。
• 地理的分布によるデータ配置とネットワーク転送時間のBoDT実行への影響をモデル化すること。
• 実世界の応用シナリオを用いて、提案手法の実現可能性と有効性を検証すること。

提案手法

• データサイズ $ s_t $、単位転送時間 $ trans_{l_t,c} $、処理速度 $ comp $ を用いて、タスク実行をデータ転送時間 $ trans_{t,c} = s_t \times trans_{l_t,c} $ と処理時間 $ comp_{t,c} = s_t \times comp $ でモデル化する。
• 各タスクの合計実行時間を $ exec_{t,c} = trans_{t,c} + comp_{t,c} $ と定義し、各デプロイメント構成における全タスクの合計時間を計算する。
• パフォーマンス（実行時間を最小化）とコスト（VM使用数を最小化）のバランスを取るために、ユーザーの好みパラメータ $ \beta \in [0,1] $ を導入し、$ \beta = 0 $ でコスト優先、$ \beta = 1 $ でパフォーマンス優先とする。
• ユーザーの $ \beta $-駆動好みに最も適合する計画を選択するために、クラウドリージョンにまたがる異なるVMデプロイメント構成を探索するヒューリスティック探索を適用する。
• サンプルのBoDTアプリケーション（ニュース集約）を用いて、$ \beta $ の値を変化させた場合のアルゴリズムの評価を行い、予測された最適計画と実際の最適計画を比較する。
• 中央集権的（単一VM）と分散化（データソースに近い複数VM）の実行モデルを比較し、パフォーマンスとコストのトレードオフを定量化する。

実験結果

リサーチクエスチョン

• RQ1 クラウド上にBoDTアプリケーションをデプロイする際、実行パフォーマンスと金銭的コストの最適なトレードオフは何か？
• RQ2 データソースに近い場所でタスク実行を分散化することは、BoDTワークロードのパフォーマンスとコストにどのように影響を与えるか？
• RQ3 ヒューリスティックアルゴリズムが、ユーザーが定義したパフォーマンス-コストの好みに適合する実行計画をどれほど効果的に生成できるか？
• RQ4 デプロイメント構成の選択（中央集権的対分散化）が、合計実行時間とコストに与える影響は何か？
• RQ5 最適計画がユーザーの好みの変化（すなわち、$ \beta $ の変化）に対してどれほど感受性を示すか？

主な発見

• ヒューリスティックアルゴリズムは11件のテストケースのうち10件で最適な実行計画を生成し、91%の成功率を達成した。
• ユーザーの好みパラメータ $ \beta $ に応じてデプロイメント構成を調整することにより、パフォーマンスとコストのバランスが効果的に取られ、$ \beta $ の値に応じてパフォーマンスとコストが予測可能な方向に変化した。
• データソースに近い場所でタスクを分散実行することで、データ転送遅延を最小限に抑えることにより、中央集権的実行と比較して合計実行時間が顕著に短くなった。
• モデルは、分散化によるパフォーマンスの向上が著しいが、それに伴いコストも高くなることを示しており、好み駆動の最適化アプローチの必要性を強調している。
• フレームワークは、パフォーマンスとコストのトレードオフを明確に示しており、ユーザーの好みが変化するにつれて最適構成がシフトすることを示しており、$ \beta $ が重要な制御パrameterであることが明らかになった。
• 実験結果は、提案された数学的モデルとヒューリスティックが、ニュース集約システムのような実世界のBoDTワークロードに対し、実現可能で効果的であることを確認した。