[论文解读] Cloud WorkBench - Infrastructure-as-Code Based Cloud Benchmarking

Joel Scheuner, Philipp Leitner+2 more|arXiv (Cornell University)|Aug 20, 2014

Cloud Computing and Resource Management参考文献 15被引用 12

一句话总结

Cloud WorkBench (CWB) 是一个基于 Web 的、以基础设施即代码（IaC）为驱动的框架，可自动完成跨多个 IaaS 云服务提供商的云基准测试的定义、调度和执行。通过采用 IaC 原则，CWB 实现了可复现、模块化且可移植的基准测试，其有效性通过一项案例研究得到验证：该研究测量了 Amazon EC2 实例类型和存储类型之间的磁盘 I/O 性能，揭示了即使在单次执行过程中也存在显著的性能差异。

ABSTRACT

To optimally deploy their applications, users of Infrastructure-as-a-Service clouds are required to evaluate the costs and performance of different combinations of cloud configurations to find out which combination provides the best service level for their specific application. Unfortunately, benchmarking cloud services is cumbersome and error-prone. In this paper, we propose an architecture and concrete implementation of a cloud benchmarking Web service, which fosters the definition of reusable and representative benchmarks. In distinction to existing work, our system is based on the notion of Infrastructure-as-Code, which is a state of the art concept to define IT infrastructure in a reproducible, well-defined, and testable way. We demonstrate our system based on an illustrative case study, in which we measure and compare the disk IO speeds of different instance and storage types in Amazon EC2.

研究动机与目标

• 为解决动态 IaaS 环境中手动云基准测试的复杂性和不一致性问题。
• 通过在云基准测试中采用基础设施即代码（IaC）原则，提升基准测试的可复现性、模块化和可移植性。
• 自动完成从定义到执行及结果收集的整个基准测试生命周期，无需人工干预。
• 支持跨多个云服务提供商和配置的周期性、可扩展且一致的基准测试。
• 通过使用代码定义的基础设施替代手动创建虚拟机镜像，减少基准测试设置的时间和错误。

提出的方法

• CWB 采用三层 Web 架构，中央服务器负责管理基准测试定义、调度和结果存储，数据存储于关系型数据库中。
• 通过 Web 界面和配置服务定义基准测试，生成 IaC 配置（例如使用 Ansible 或 Terraform 等工具），用于配置云虚拟机。
• 每个云虚拟机（被测系统）运行轻量级的 CWB 客户端库，与中央服务器通信以报告指标。
• 系统利用 IaC 的幂等性配置，确保在多次基准测试运行中，虚拟机配置的一致性和可重复性。
• 调度组件根据用户定义的计划，定期触发基准测试执行。
• 在执行过程中收集指标，并存储以供后续统计分析和可视化。

实验结果

研究问题

• RQ1 RQ1：如何以模块化和可移植的方式描述现有的 IaaS 云基准测试？
• RQ2 RQ2：如何在云环境中以完全可复现的方式、无需人工干预地周期性调度和执行此类基准测试？
• RQ3 RQ3：IaC 原则如何提升基准测试的可复现性，并减少云基准测试中的配置开销？

主要发现

• 即使在单次基准测试执行过程中，磁盘 I/O 性能也表现出显著的波动，标准 EBS 和通用型 EBS 存储类型均观察到性能下降。
• m1.small 实例搭配标准 EBS 时表现出不可预测的性能振荡，包括在执行约第 15 分钟出现长时间的性能下降。
• 通用型 SSD EBS 显示出周期性的性能下降，尽管带宽整体上围绕平均值波动。
• t1.micro 和 m1.small 实例类型在多次运行中均表现出强烈的性能振荡，表明 CPU 调度和资源竞争会影响 I/O 性能。
• CWB 成功执行了近 20,000 次基准测试，证明了其可扩展性和实际应用可行性。
• 该框架通过基于 IaC 的资源配置，显著减少了基准测试设置的人工工作量，并提升了可复现性。