[論文レビュー] uPredict: A User-Level Profiler-Based Predictive Framework for Single VM Applications in Multi-Tenant Clouds

Hamidreza Moradi, Wei Wang+2 more|arXiv (Cornell University)|Aug 13, 2019

Cloud Computing and Resource Management参考文献 56被引用数 7

ひとこと要約

uPredict は、マルチテナントクラウドにおける単一VMアプリケーション向けのユーザーレベルのパフォーマンス予測フレームワークであり、CPU、メモリ、ディスクの競合状態をリアルタイムでプロファイリングするためにカスタムマイクロベンチマークを用いる。イン・サイトプロファイリングと回帰モデルおよびニューラルネットワークモデルを組み合わせることで、プライベートクラウドでは9.8–17%、パブリッククラウドでは4%未満の予測誤差を達成し、インテリジェントなロードバランシングによって実行時間を19%短縮可能である。

ABSTRACT

Most existing studies on performance prediction for virtual machines (VMs) in multi-tenant clouds are at system level and generally require access to performance counters in Hypervisors. In this work, we propose uPredict, a user-level profiler-based performance predictive framework for single-VM applications in multi-tenant clouds. Here, three micro-benchmarks are specially devised to assess the contention of CPUs, memory and disks in a VM, respectively. Based on measured performance of an application and micro-benchmarks, the application and VM-specific predictive models can be derived by exploiting various regression and neural network based techniques. These models can then be used to predict the application's performance using the in-situ profiled resource contention with the micro-benchmarks. We evaluated uPredict extensively with representative benchmarks from PARSEC, NAS Parallel Benchmarks and CloudSuite, on both a private cloud and two public clouds. The results show that the average prediction errors are between 9.8% to 17% for various predictive models on the private cloud with high resource contention, while the errors are within 4% on public clouds. A smart load-balancing scheme powered by uPredict is presented and can effectively reduce the execution and turnaround times of the considered application by 19% and 10%, respectively.

研究の動機と目的

• 仮想化ハイパーバイザレベルのメトリクスにアクセスできない状況下で、マルチテナントクラウド環境におけるパフォーマンスの予測不能性という課題に対処すること。
• 共存するワークロードが不明でシステム可視性が限られている状況下でも、通常のクラウドユーザーがアプリケーションのパフォーマンスを予測できるようにすること。
• ハイパーバイザへのアクセスや共存するVMの事前知識が不要な、実用的でユーザーレベルの予測フレームワークを構築すること。
• プライベートクラウドおよびパブリッククラウドを含む実世界のクラウド環境において、フレームワークの正確性と実用性を評価すること。
• 予測に基づくロードバランシングによるアプリケーションスケジューリングの改善効果を実証すること。

提案手法

• 実行中のターゲットVMにおけるCPU、メモリ、ディスクの競合状態をプロファイリングするために、アプリケーションに依存しない3つのマイクロベンチマークを設計・デプロイする。
• 繰り返し順次実行中にマイクロベンチマークおよびターゲットアプリケーションの両方のパフォーマンスデータを収集し、動的競合状態を捉える。
• 収集したプロファイリングデータに基づき、回帰（例：2次多項式）およびニューラルネットワーク技術を用いて、アプリケーションおよびVM固有の予測モデルを訓練する。
• 予測精度を向上させつつトレーニングオーバーヘッドをバランスさせるために、ニューラルネットワークのハイパーパrameterを最適化する。
• 予測モデルをインテリジェントなロードバランシング方式に統合し、予測された競合状態が最小限のVMを選択する。
• AWS、GCEを含むプライベートおよびパブリッククラウドインfraストラクチャ上でのPARSEC、NAS、CloudSuiteなど多様なベンチマークを用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーバイザへのアクセスなしに、ユーザーレベルのマイクロベンチマークがVM内のリソース競合を正確に捉えられるか？
• RQ2 CPU、メモリ、ディスク競合のイン・サイトプロファイリングに基づき、回帰モデルおよびニューラルネットワークモデルがアプリケーションパフォーマンスをどの程度正確に予測できるか？
• RQ3 異なるクラウド環境（異なる競合レベルを有する）において、uPredictの予測精度はどのように変動するか？
• RQ4 uPredictに基づく予測ロードバランシングは、従来のキュー制御型またはヒューリスティックなロードバランシング戦略に比べ、実行時間およびターンアラウンド時間を短縮できるか？
• RQ5 プロファイリングのオーバーヘッドおよびモデルトレーニングコストは、リアルタイムパフォーマンス予測の実用性にどのような影響を与えるか？

主な発見

• リソース競合が顕著なプライベートクラウドでは、uPredictは異なる予測モデルにおいて平均9.8%～17%の予測誤差を達成した。
• ハイパーパrameter最適化を施したニューラルネットワークベースのモデルは、回帰ベースのモデルに比べて予測誤差を約9%低減したが、トレーニングオーバーヘッドが高かった。
• 競合状態が低く安定しているパブリッククラウドでは、平均予測誤差が常に4%未満であった。
• uPredictを搭載したロードバランシング方式は、キュー制御型ロードバランシング戦略と比較して、平均実行時間を19%短縮し、ターンアラウンド時間を10%短縮した。
• フレームワークは、動的かつ未知の共存ワークロードによって引き起こされるパフォーマンスの変動を効果的に捉え、単一VMアプリケーションのイン・サイトパフォーマンス予測を正確に可能にした。
• マイクロベンチマークはシステムレベルの競合状態のプロファイリングに有効であったが、キャッシュおよびネットワーク競合状態への拡張は今後の課題である。