[論文レビュー] Ready for Rain? A View from SPEC Research on the Future of Cloud Metrics

Nikolas Herbst, Rouven Krebs+5 more|arXiv (Cornell University)|Apr 12, 2016

Cloud Computing and Resource Management参考文献 26被引用数 27

ひとこと要約

本論文は、実世界の測定手法に基づいて、スケーラビリティ、パフォーマンス隔離、可用性、運用リスクのためのクラウド固有のメトリクスの包括的なフレームワークを提案する。新規の定量的メトリクスと集約手法を導入し、クラウドシステムのベンチマークを可能にすることで、クラウドサービス選定およびシステム最適化に不可欠な非機能的特性の客観的評価を可能にする。

ABSTRACT

In the past decade, cloud computing has emerged from a pursuit for a service-driven information and communication technology (ICT), into a signifcant fraction of the ICT market. Responding to the growth of the market, many alternative cloud services and their underlying systems are currently vying for the attention of cloud users and providers. Thus, benchmarking them is needed, to enable cloud users to make an informed choice, and to enable system DevOps to tune, design, and evaluate their systems. This requires focusing on old and new system properties, possibly leading to the re-design of classic benchmarking metrics, such as expressing performance as throughput and latency (response time), and the design of new, cloud-specififc metrics. Addressing this requirement, in this work we focus on four system properties: (i) elasticity of the cloud service, to accommodate large variations in the amount of service requested, (ii) performance isolation between the tenants of shared cloud systems, (iii) availability of cloud services and systems, and the (iv) operational risk of running a production system in a cloud environment.Focusing on key metrics, for each of these properties we review the state-of-the-art, then select or propose new metrics together with measurement approaches. We see the presented metrics as a foundation towards upcoming, industry-standard, cloud benchmarks. Keywords: Cloud Computing; Metrics; Measurement; Benchmarking; Elasticity; Isolation; Performance; Service Level Objective; Availability; Operational Risk.

研究の動機と目的

• ICT分野におけるクラウドコンピューティングの市場シェア拡大に伴い、標準化されたクラウド固有のベンチマークメトリクスの必要性に対応する。
• 現代のクラウド環境において極めて重要な、スケーラビリティ、パフォーマンス隔離、可用性、運用リスクといった主要な非機能的システム特性を特定および定義する。
• これらの特性を定量的に評価できる新しいメトリクスを策定するか、既存のメトリクスを洗練させ、クラウドサービスおよびシステムの客観的比較・評価を可能にする。
• 各メトリクスの再現可能性と実世界のクラウド展開における実用性を保証するための測定手法を提供する。
• スケーラビリティ、隔離、可用性、リスクを統合した包括的な評価フレームワークとしての基盤を築き、将来的な業界標準ベンチマークの土台を整える。

提案手法

• 需要と割り当てリソースの関係を示すマッチング関数を用いてスケーラビリティを定義し、応答性を評価するためのタイミング、プロビジョニング、ジターメトリクスを活用する。
• QoSへの影響とワークロード比に基づくパフォーマンス隔離メトリクスを提案し、累積的干渉効果を捉える統合メトリクスを導入する。
• プロビジョニングリスク、競合リスク、サービスリスク、システムリスクを含む運用リスクメトリクスを導入し、パフォーマンス、利用状況、劣化の重み付き組み合わせを用いる。
• 再現性を確保するため、制御されたシステム設定、ワークロードプロファイル、SLA準拠状況の追跡を含む測定手法を確立する。
• 実際のクラウドワークロードにおける相対的なリスク要因の重要度を反映させるために、重み付き組み合わせ（例：$ w_p, w_c $）を用いたメトリクス集約を行う。
• 実際のクラウドワークロードおよびSLAデータを用いて、特にマルチテントおよびエラスティック環境におけるメトリクスの感度と関連性を検証する。

実験結果

リサーチクエスチョン

• RQ1 タイミング、プロビジョニング、ジタ―を考慮した場合、従来のスループットやレイテンシを超えたスケーラビリティの定量的測定法は何か？
• RQ2 リソース競合がQoSに影響を与えるマルチテントクラウド環境において、パフォーマンス隔離を最もよく捉えるメトリクスは何か？
• RQ3 実世界のクラウド展開において、単なる稼働時間を超えて、SLA準拠状況と厳密度レベルを組み込んだ可用性の測定法は何か？
• RQ4 エラスティシティ、リソース競合、パフォーマンス劣化の組み合わせ影響を生産環境クラウドシステムで効果的に捉える運用リスクメトリクスは何か？
• RQ5 これらのメトリクスは、クラウドサービス選定およびシステムチューニングにおける実世界の優先順位を反映させるために、どのように集約・重み付けすればよいか？

主な発見

• 提案されたスケーラビリティメトリクス（正確性、タイミング、プロビジョニング、タイムシェア、ジタ）は、クラウドシステムの負荷変化への適応度を多次元的に把握する。
• パフォーマンス隔離は、QoSへの影響メトリクスとワークロード比に基づく統合メトリクスによって最もよく捉えられ、共有環境における干渉の深刻度を定量化する。
• 運用リスクメトリクス、特にプロビジョニングリスクと競合リスクの重み付き組み合わせは、エラスティックおよび共用ワークロード下でのSLA違反の可能性を効果的に反映する。
• 各メトリクスの測定手法は、制御されたシステム設定とワークロードプロファイルを用いて検証されており、再現性と実用的妥当性を保証する。
• スケーラビリティ、隔離、可用性、運用リスクを統合した包括的なベンチマークフレームワークにより、クラウドシステムのより包括的かつ現実的な評価が可能になる。
• 本フレームワークは、将来的なクラウドベンチマークの標準化を支援するように設計されており、予定ではビッグデータ、ウェブサービス、グラフ処理ワークロードへの拡張が予定されている。