[論文レビュー] PerfEnforce: A Dynamic Scaling Engine for Analytics with Performance Guarantees

Jennifer Ortiz, Brendan Lee+2 more|arXiv (Cornell University)|May 31, 2016

Cloud Computing and Resource Management参考文献 23被引用数 5

ひとこと要約

PerfEnforceは、クエリ実行時間のSLA目標を満たすことを保証しながらコストを最小限に抑えることで、クラウドベースのデータ分析におけるパフォーマンスSLAを保証する動的スケーリングエンジンである。パーセプトロン学習を用いて、クエリ間で仮想マシンクラスタを適応的にスケーリングし、フィードバック制御や強化学習を凌駕する低遅延かつ低コストな性能を実現するとともに、最小限の混乱を引き起こす。

ABSTRACT

In this paper, we present PerfEnforce, a scaling engine designed to enable cloud providers to sell performance levels for data analytics cloud services. PerfEnforce scales a cluster of virtual machines allocated to a user in a way that minimizes cost while probabilistically meeting the query runtime guarantees offered by a service level agreement. With PerfEnforce, we show how to scale a cluster in a way that minimally disrupts a user's query session. We further show when to scale the cluster using one of three methods: feedback control, reinforcement learning, or perceptron learning. We find that perceptron learning outperforms the other two methods when making cluster scaling decisions.

研究の動機と目的

• ユーザーがリソースの固定割り当てではなく遅延SLAを購入するクラウドベースのデータ分析サービスにおいて、パフォーマンス保証を提供する課題に対処すること。
• 運用コストを最小限に抑えつつ、ユーザーのクエリがSLAで指定された実行時間目標を満たすことを保証すること。
• 部分的データレプリケーションを備えたローカルで共有しないストレージを活用することで、クラスターリサイズ時の混乱を低減すること。
• 変化するクエリワークロードにリアルタイムで適応する動的スケーリング戦略の開発と評価を行うこと。
• クラウドプロバイダーが実績パフォーマンス分布に基づいて確率的SLAを提供可能にする仕組みを構築すること。

提案手法

• PerfEnforceは、パフォーマンスSLA要件に基づいて、ユーザーに割り当てられた仮想マシン（VM）クラスタを動的に再サイズする。
• 迅速なクラスタ再構成とセットアップ時間の短縮を実現するため、部分的データレプリケーションを備えた共有しないストレージアーキテクチャを採用する。
• スケーリング意思決定戦略として、フィードバック制御、強化学習（RL）、パーセプトロン学習（PL）の3つの戦略を評価する。
• パーセプトロン学習は、最近のクエリパフォーマンスに基づいて継続的に実行時間の推定値を更新することで、ワークロード変化への迅速な適応を可能にする。
• スケーリング意思決定は、過去のSLA遵守に基づくプロアクティブな判断または各クエリ実行の直前におけるリアクティブな判断のいずれかで行われる。
• スケーリング戦略の比較のため、パフォーマンスレシオ（PR）とサービスコスト（CS）のメトリクスを計算する。

実験結果

リサーチクエスチョン

• RQ1 クラウド分析システムは、コストを最小限に抑えつつ、パフォーマンスSLAの保証を満たすために、VMクラスタをどのように動的スケーリングできるか？
• RQ2 フィードバック制御、強化学習、パーセプトロン学習の各動的スケーリング戦略の間で、SLA遵守率とコストのトレードオフはどのようなものか？
• RQ3 パーセプトロンベースの学習モデルは、変動するクエリワークロードに適応するうえで、従来の制御法や強化学習手法を凌駆できるか？
• RQ4 部分的データレプリケーションとローカルストレージの組み合わせは、クラスターリサイズのオーバーヘッドとクエリ実行の安定性にどのように影響するか？
• RQ5 実績パフォーマンス分布に基づいて、信頼性を持って広告可能な確率的SLAパrameterは何か？

主な発見

• パーセプトロン学習（PL）は、オラクルベースラインに最も近いパフォーマンスレシオ（PR）と相対標準偏差の分布を達成し、フィードバック制御や強化学習を上回る性能を示した。
• パーセプトロン学習法は、平均が1.0に近く、分散が小さいPR分布を達成しており、多様なワークロードにおいて強いSLA遵守を示した。
• 10のランダムワークロードに対して、パーセプトロン学習は90パーセンタイルのクエリレシオを1.37として達成した。これは、SLA時間を実際の推定時間の1.37倍に設定した場合、90％のクエリがSLA目標を満たしたかそれを上回ったことを意味する。
• パーセプトロン学習は、強化学習やフィードバック制御とは異なり、ワークロードごとの複雑なパrameterチューニングを必要としなかった。
• 本システムにより、クラウドプロバイダーは、例えば「推定時間の2倍にSLA時間を設定すれば90％のクエリがSLAを満たす」といった確信を持って確率的SLAを広告できるようになった。
• ローカルで共有しないストレージと部分的レプリケーションの活用により、セットアップ時間が短縮され、クラスターリサイズ時の混乱が最小限に抑えられ、迅速かつ信頼性の高いスケーリングが可能になった。