[論文レビュー] Cloud WorkBench - Infrastructure-as-Code Based Cloud Benchmarking

Joel Scheuner, Philipp Leitner+2 more|arXiv (Cornell University)|Aug 20, 2014

Cloud Computing and Resource Management参考文献 15被引用数 12

ひとこと要約

Cloud WorkBench (CWB) は、複数の IaaS プロバイダーに跨って、クラウドベンチマークの定義、スケジューリング、実行を自動化する、ウェブベースの Infrastructure-as-Code (IaC) ベースのフレームワークである。IaC の原則を活用することで、再現可能でモジュラーかつポータブルなベンチマークが可能となり、これは、Amazon EC2 インスタンスおよびストレージタイプにおけるディスク I/O パフォーマンスを測定する事例研究を通じて実証された。その結果、単一の実行内でもパフォーマンスに顕著なばらつきが生じることが明らかになった。

ABSTRACT

To optimally deploy their applications, users of Infrastructure-as-a-Service clouds are required to evaluate the costs and performance of different combinations of cloud configurations to find out which combination provides the best service level for their specific application. Unfortunately, benchmarking cloud services is cumbersome and error-prone. In this paper, we propose an architecture and concrete implementation of a cloud benchmarking Web service, which fosters the definition of reusable and representative benchmarks. In distinction to existing work, our system is based on the notion of Infrastructure-as-Code, which is a state of the art concept to define IT infrastructure in a reproducible, well-defined, and testable way. We demonstrate our system based on an illustrative case study, in which we measure and compare the disk IO speeds of different instance and storage types in Amazon EC2.

研究の動機と目的

• 手動によるクラウドベンチマークの複雑さと一貫性の欠如、特に動的かつ変化しやすい IaaS 環境における課題を解決すること。
• クラウドベンチマークにおける再現性、モularity、ポータビリティを向上させるために、Infrastructure-as-Code (IaC) の原則を導入すること。
• 定義から実行、結果収集に至るまで、ベンチマークライフサイクル全体を手動介入なしに自動化すること。
• 複数のクラウドプロバイダーおよび構成に跨り、定期的かつスケーラブルで一貫性のあるベンチマークを実施すること。
• 手動での VM イメージ作成をコードで定義されたインfrastrcture に置き換えることで、ベンチマーク設定に要する時間とエラーを削減すること。

提案手法

• CWB は、中央サーバーが関係データベースにベンチマーク定義、スケジューリング、結果の保存を管理する三層構造のウェブアーキテクチャを採用している。
• ベンチマークはウェブインターフェースおよびプロビジョニングサービスを通じて定義され、Ansible や Terraform などのツールを用いて IaC 設定が生成され、クラウド VM のプロビジョニングが行われる。
• 各クラウド VM（テスト対象システム）は、メトリクスを中央サーバーに報告するための軽量な CWB クライアントライブラリを実行する。
• システムは IaC の同一性（idempotent）プロビジョニングを活用し、ベンチマーク実行間で一貫した、繰り返し可能な VM 設定を保証する。
• スケジューラー部は、ユーザーが定義したスケジュールに従って、定期的にベンチマーク実行をトリガーする。
• メトリクスは実行中に収集され、後続の統計的分析および可視化のために保存される。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 既存の IaaS クラウドベンチマークを、どのようにモジュラーかつポータブルな形で記述できるか？
• RQ2 RQ2: こうしたベンチマークを、完全に再現可能で、手動操作なしにクラウド環境で定期的にスケジュールし、実行するにはどうすればよいか？
• RQ3 RQ3: IaC の原則は、クラウドベンチマークにおける再現性をどのように向上させ、設定のオーバーヘッドをどのように低減できるか？

主な発見

• ディスク I/O パフォーマンスは、単一のベンチマーク実行内でも顕著なばらつきを示し、標準的および汎用的 EBS ストレージタイプの両方で性能低下が観察された。
• 標準 EBS を搭載した m1.small インスタンスでは、実行の約 15 分目ごろに長時間にわたる性能低下を伴う予測不能なパフォーマンスのオシレートが観察された。
• 汎用 SSD EBS では、周期的なパフォーマンス低下が見られたが、帯域幅は一般的に平均値の周辺をオシレートしていた。
• t1.micro および m1.small インスタンスタイプでは、複数回の実行にわたり顕著なパフォーマンスオシレートが観察され、CPU スケジューリングおよびリソース競合が I/O パフォーマンスに影響を与えていることが示された。
• CWB は、ほぼ 20,000 回のベンチマーク実行を実施可能であり、そのスケーラビリティと実世界での実用性を実証した。
• このフレームワークは、IaC ベースのプロビジョニングにより、ベンチマーク設定における手作業の負荷を著しく削減し、再現性を向上させた。