[论文解读] Monitoring in the Clouds: Comparison of ECO2Clouds and EXCESS Monitoring Approaches

Pavel Skvortsov, Dennis Hoppe+2 more|arXiv (Cornell University)|Jan 27, 2016

Cloud Computing and Resource Management参考文献 4被引用 3

一句话总结

本文对比了两种专为云环境和高性能计算（HPC）环境设计的节能感知监控框架——ECO2Clouds 和 EXCESS。ECO2Clouds 通过 Zabbix 实现多层指标（物理层、虚拟层、应用层）的 CO₂ 感知应用调度，而 EXCESS 则通过自定义 API 提供低开销、近实时的监控，用于运行时优化。其主要贡献在于提出一种混合方法，结合两种框架以提升能效与系统可观测性。

ABSTRACT

With the increasing adoption of private cloud infrastructures by providers and enterprises, the monitoring of these infrastructures is becoming crucial. The rationale behind monitoring is manifold: reasons include saving energy, lowering costs, and better maintenance. In the e-Science sector, moreover, the collection of infrastructure and application-specific data at high resolutions is immanent. In this paper, we present two monitoring approaches implemented throughout two European projects: ECO2Clouds and EXCESS. The ECO2Clouds project aims to minimize CO2 emissions caused by the execution of applications on the cloud infrastructure. In order to allow for eco-aware deployment and scheduling of applications, the ECO2Clouds monitoring framework provides the necessary set of metrics on different layers including physical, virtual and application layer. In turn, the EXCESS project introduces new energy-aware execution models that improve energy-efficiency on a software level. Having in-depth knowledge about the energy consumption and overall behavior of applications on a given infrastructure, subsequent executions can be optimized to save energy. To achieve this goal, the EXCESS monitoring framework provides APIs allowing developers to collect application-specific data in addition to infrastructure data at run-time. We perform a comparative analysis of both monitoring approaches, and highlighting use cases including a hybrid approach which benefits from both monitoring solutions.

研究动机与目标

• 应对由于能源成本上升和环境问题加剧，私有云与 HPC 基础设施对节能监控日益增长的需求。
• 探究应用层监控与基础设施层监控如何结合，以最小化 CO₂ 排放并提升能效。
• 评估两种不同欧盟资助的监控框架在监控开销、更新频率与可扩展性之间的权衡。
• 使开发人员和系统管理员能够基于实时、面向应用的指标，做出环保意识的部署与调度决策。
• 提出一种混合监控方法，整合 ECO2Clouds（多层指标、调度支持）与 EXCESS（细粒度、低开销监控）的优势。

提出的方法

• 使用 Zabbix 代理实现 ECO2Clouds 监控框架，收集物理层、虚拟层与应用层的指标，并基于区域电力结构计算 CO₂ 排放量。
• 通过轻量级、基于代理的代码注入方式，使用自定义 C 配置文件部署 EXCESS 监控框架，以收集实时的应用程序与硬件指标。
• 集成云站点（EPCC、INRIA、HLRS）的 PDU 电源数据，计算站点特定的 CO₂ 排放量，用于调度决策。
• 在 EXCESS 中使用 Elasticsearch 存储时间序列数据，在 ECO2Clouds 中使用 MySQL 进行结构化数据建模，以支持复杂查询与自定义指标。
• 为两个框架开发基于 Web 的图形用户界面：ECO2Clouds 使用基于 Zabbix 的仪表板，EXCESS 使用交互式可视化工具，支持实时与历史指标分析。
• 通过测量不同采样频率下的 CPU 开销进行性能评估，结果表明在相同工作负载下，Zabbix 的开销最高可达 10%，而 EXCESS 的开销低于 3%。

实验结果

研究问题

• RQ1 ECO2Clouds 与 EXCESS 监控框架在架构设计、更新频率与监控粒度方面有何差异？
• RQ2 每种监控框架的性能开销如何？其随采样频率与指标数量的变化趋势如何？
• RQ3 这两套框架在多大程度上可整合为一种混合监控解决方案，以提升能效与系统可观测性？
• RQ4 数据存储与可扩展性机制（MySQL 与 Elasticsearch）如何影响指标建模的灵活性与复杂性？
• RQ5 能否有效集成 EXCESS 的实时细粒度监控与 ECO2Clouds 的高层应用感知调度，以支持 CO₂ 感知的部署？

主要发现

• EXCESS 监控框架可实现近实时监控，更新频率高达 10 Hz，远高于 ECO2Clouds 的 1 秒更新频率。
• 即使在高采样率下，EXCESS 的 CPU 开销也极低——低于 3%；而 ECO2Clouds 的 Zabbix 代理在监控超过 15 个指标时，开销最高可达 10%。
• ECO2Clouds 支持跨物理层、虚拟层与应用层的复杂自定义指标，可实现跨异构云服务提供商站点的 CO₂ 感知调度。
• ECO2Clouds 框架可预测应用部署的 CO₂ 排放量，并通过专用 Web 界面可视化展示，支持最优部署位置的选择。
• EXCESS 通过 C 配置文件实现低侵入性、可运行时配置的监控，而 ECO2Clouds 依赖 Zabbix 的可扩展但更复杂的配置模型。
• 混合监控方法在技术上可行且具有显著优势：EXCESS 支持细粒度的运行时优化，而 ECO2Clouds 支持长期、策略驱动的碳足迹减排调度。