[論文レビュー] Monitoring in the Clouds: Comparison of ECO2Clouds and EXCESS Monitoring Approaches

Pavel Skvortsov, Dennis Hoppe+2 more|arXiv (Cornell University)|Jan 27, 2016

Cloud Computing and Resource Management参考文献 4被引用数 3

ひとこと要約

この論文は、クラウドおよびHPC環境向けに設計された二つのエネルギーアウェア監視フレームワーク、ECO2CloudsとEXCESSを比較している。ECO2Cloudsは、Zabbixを介して物理層、仮想層、アプリケーション層のマルチレイヤー指標を用いて、CO₂に配慮したアプリケーションスケジューリングを可能にする。一方、EXCESSは、実行時最適化のためのカスタムAPIを備えた低オーバーヘッドでニアリアルタイム監視を提供する。主な貢献は、両フレームワークの長所を活かしたハイブリッドアプローチであり、エネルギー効率の向上とシステムの可観測性の向上を実現する。

ABSTRACT

With the increasing adoption of private cloud infrastructures by providers and enterprises, the monitoring of these infrastructures is becoming crucial. The rationale behind monitoring is manifold: reasons include saving energy, lowering costs, and better maintenance. In the e-Science sector, moreover, the collection of infrastructure and application-specific data at high resolutions is immanent. In this paper, we present two monitoring approaches implemented throughout two European projects: ECO2Clouds and EXCESS. The ECO2Clouds project aims to minimize CO2 emissions caused by the execution of applications on the cloud infrastructure. In order to allow for eco-aware deployment and scheduling of applications, the ECO2Clouds monitoring framework provides the necessary set of metrics on different layers including physical, virtual and application layer. In turn, the EXCESS project introduces new energy-aware execution models that improve energy-efficiency on a software level. Having in-depth knowledge about the energy consumption and overall behavior of applications on a given infrastructure, subsequent executions can be optimized to save energy. To achieve this goal, the EXCESS monitoring framework provides APIs allowing developers to collect application-specific data in addition to infrastructure data at run-time. We perform a comparative analysis of both monitoring approaches, and highlighting use cases including a hybrid approach which benefits from both monitoring solutions.

研究の動機と目的

• エネルギー代の上昇と環境への懸念が高まる中、プライベートクラウドおよびHPCインfra構造におけるエネルギー効率の高い監視の必要性に対応する。
• アプリケーションレベルとインfraレベルの監視を統合することで、CO₂排出量の低減とエネルギー効率の向上を図る方法を調査する。
• 二つの異なるEU資金支援監視フレームワークにおける監視オーバーヘッド、更新頻度、拡張性のトレードオフを評価する。
• リアルタイムでアプリケーション固有の指標を提供することで、開発者およびシステム管理者が環境配慮型のデプロイとスケジューリング意思決定を下せるようにする。
• ECO2Clouds（マルチレイヤー指標、スケジューリング支援）の強みとEXCESS（細粒度で低オーバーヘッドの監視）の強みを統合したハイブリッド監視アプローチを提案する。

提案手法

• 物理層、仮想層、アプリケーション層の各レイヤーでメトリクス収集を可能にするZabbixエージェントを用いてECO2Clouds監視フレームワークを実装し、地域のエネルギーミックスに基づいてCO₂排出量を計算する。
• 軽量でエージェントベースのインストルメンテーションとカスタムC設定ファイルを用いて、EXCESS監視フレームワークを展開し、リアルタイムのアプリケーションおよびハードウェアメトリクスを収集する。
• クラウドサイト（EPCC、INRIA、HLRS）のPDUからの電力データを統合し、スケジューリング意思決定のためのサイト固有のCO₂排出量を算出する。
• EXCESSでは時系列データを保存するためElasticsearchを、ECO2Cloudsでは構造化されたデータモデリングのためのMySQLを用い、複雑なクエリとカスタムメトリクスをサポートする。
• 両フレームワークにWebベースのGUIを開発：ECO2CloudsではZabbixベースのダッシュボードを、EXCESSではリアルタイムおよび履歴メトリクス分析用のインタラクティブ可視化を実装する。
• パフォーマンス評価として、同じワークロード下でのさまざまなサンプリング周波数におけるCPUオーバーヘッドを測定し、Zabbix（最大10％のオーバーヘッド）とEXCESS（3％未満のオーバーヘッド）を比較する。

実験結果

リサーチクエスチョン

• RQ1 ECO2CloudsとEXCESSの監視フレームワークは、アーキテクチャ設計、更新頻度、監視粒度においてどのように異なるか？
• RQ2 各監視フレームワークのパフォーマンスオーバーヘッドはどの程度で、サンプリング周波数やメトリクス数の変化にどのように影響を受けるか？
• RQ3 二つのフレームワークをハイブリッド監視ソリューションに統合することで、エネルギー効率とシステム可観測性をどの程度向上できるか？
• RQ4 データストレージと拡張性メカニズム（MySQL対Elasticsearch）は、メトリクスモデリングの柔軟性と複雑さにどのように影響を及ぼすか？
• RQ5 リアルタイムで細粒度の監視（EXCESS）と高レベルのアプリケーション認識スケジューリング（ECO2Clouds）を効果的に統合し、CO₂に配慮したデプロイを支援できるか？

主な発見

• EXCESS監視フレームワークは、最大10 Hzの更新頻度でニアリアルタイム監視を達成しており、ECO2Cloudsの1秒更新頻度よりも顕著に高速である。
• EXCESSは、高サンプリングレート下でも最小限のCPUオーバーヘッド（3％未満）を実現するが、15個以上のメトリクスを監視する場合にECO2CloudsのZabbixエージェントは最大10％のオーバーヘッドを示す。
• ECO2Cloudsは、物理層、仮想層、アプリケーション層にまたがる複雑なユーザー定義メトリクスをサポートしており、異種のクラウドプロバイダーのサイト間でCO₂に配慮したスケジューリングを可能にする。
• ECO2Cloudsフレームワークは、アプリケーションデプロイのCO₂排出量予測を可能にし、最適なデプロイ先の可視化と選択を可能にする専用Webインターフェースを備えている。
• EXCESSはC設定ファイルによるランタイムで再設定可能な低侵入型監視を提供するが、ECO2Cloudsは拡張性は高いがより複雑な構成モデルを備えたZabbix依存である。
• ハイブリッド監視アプローチは実現可能かつ有益である：EXCESSは細粒度のランタイム最適化を可能にし、ECO2Cloudsは炭素排出量低減のための長期的でポリシー駆動のスケジューリングを支援する。