[論文レビュー] Patterns in the Chaos - a Study of Performance Variation and Predictability in Public IaaS Clouds

Philipp Leitner, Juergen Cito|arXiv (Cornell University)|Nov 10, 2014

Cloud Computing and Resource Management参考文献 46被引用数 6

ひとこと要約

本稿は、4つのプロバイダ（AWS EC2、Google GCE、Microsoft Azure、IBM SoftLayer）を対象とした大規模な文献レビューと実世界の実験を通じて、パブリックIaaSクラウドにおけるパフォーマンス予測可能性を調査している。パフォーマンス変動に関する15の仮説を提示し、53,918件の測定結果を用いて検証した結果、マルチテナント環境がパフォーマンス予測可能性に顕著な影響を及ぼしていることが判明したが、これはAzureや特定のEC2インスタンスタイプにおいて特に顕著であり、ハードウェアの非均一性はかつて想定されたほど顕著ではなく、時間帯や曜日の影響は無視できる程度であった。

ABSTRACT

Benchmarking the performance of public cloud providers is a common research topic. Previous research has already extensively evaluated the performance of different cloud platforms for different use cases, and under different constraints and experiment setups. In this paper, we present a principled, large-scale literature review to collect and codify existing research regarding the predictability of performance in public Infrastructure-as-a-Service (IaaS) clouds. We formulate 15 hypotheses relating to the nature of performance variations in IaaS systems, to the factors of influence of performance variations, and how to compare different instance types. In a second step, we conduct extensive real-life experimentation on Amazon EC2 and Google Compute Engine to empirically validate those hypotheses. At the time of our research, performance in EC2 was substantially less predictable than in GCE. Further, we show that hardware heterogeneity is in practice less prevalent than anticipated by earlier research, while multi-tenancy has a dramatic impact on performance and predictability.

研究の動機と目的

• パブリックIaaSクラウドにおけるパフォーマンス変動の背後にある根本的なパターンおよびメカニズムを特定すること。
• クラウドパフォーマンス予測可能性に関する先行研究の長期的妥当性および一般化可能性を評価すること。
• 大規模かつ実世界のベンチマークを用いて、既存の文献から導出された仮説を実証的に検証すること。
• マルチテナント、ハードウェア非均一性、リージョン、時間帯などの要因がパフォーマンスの安定性および予測可能性に与える影響を評価すること。
• パフォーマンスとコスト効率の観点から、ユースケースに応じた最適なインスタンスタイプの選定に関する実用的知見を提供すること。

提案手法

• IaaSパフォーマンス予測可能性に関する既存研究を収集・コード化するため、体系的かつ大規模な文献レビューを実施した。
• パフォーマンス変動、影響要因、インスタンスタイプ比較に関する学術論文に基づき、15の仮説を策定した。
• 1か月間にわたり、4つの主要なIaaSプロバイダ（AWS EC2、GCE、Azure、SoftLayer）において実世界のベンチマークを実施した。
• 2〜8種類の構成で、6つのマイクロおよびアプリケーションレベルのベンチマークを実行し、1日6回測定することで、合計53,918件の測定結果を取得した。
• 統計的分析を用いて仮説を検証し、パフォーマンスのばらつき、リージョンの影響、時間帯／曜日のパターンに注目した。
• 再現可能性を確保するため、すべてのベンチマークコード、生データ、分析スクリプトを公開する共同ウェブサイトを維持した。

実験結果

リサーチクエスチョン

• RQ1 IaaSクラウドにおけるパフォーマンス変動の主な要因がマルチテナントである割合はどの程度で、プロバイダ間でどのように異なるか？
• RQ2 現代のパブリックIaaSクラウドにおけるハードウェア非均一性はどの程度顕著であり、パフォーマンス予測可能性に顕著な影響を及えるか？
• RQ3 1日の中の時間帯や週の曜日は、クラウドインスタンスのパフォーマンスに測定可能な影響を及えるか？
• RQ4 IaaSインスタンスのパフォーマンスは時間経過とともにどの程度安定的で予測可能であり、プロバイダーやインスタンスタイプによってどのように異なるか？
• RQ5 過去のベンチマーク結果は、異なるIaaSプロバイダに一般化可能か、それともプロバイダー固有のものか？

主な発見

• マルチテナントはパフォーマンス予測可能性に顕著かつ測定可能な影響を及ぼすが、その影響はすべてのIaaSプロバイダに均等に分布しているわけではない。特にAzureおよび特定のEC2インスタンスタイプにおいて顕著である。
• ハードウェア非均一性はかつて報告されたほど顕著ではなく、EC2インスタンスタイプの一部およびAzureでのみ非均一な基盤ハードウェアが確認された。これは、広範な非均一性の仮定を覆すものである。
• パフォーマンス変動と時間帯や曜日の間に、統計的に有意な相関は認められず、時間的パターンはパフォーマンスの予測に信頼性がないことが示された。
• リージョンはパフォーマンスおよび予測可能性に統計的に有意な影響を及ぼしており、プロバイダ間の地理的場所による差が観察された。
• パフォーマンス予測可能性とコスト効率はプロバイダ間で一般化できない。インスタンスタイプの選定は、先行研究からの仮定ではなく、ユースケースに特化したベンチマークに基づくべきである。
• 本研究は、クラウドパフォーマンスが「変化し続けるターゲット」であることを確認した。たとえばEC2で得られた知見は、他のプロバイダに信頼性を持って一般化できないため、パフォーマンスモデルの定期的な再評価が不可欠である。