[论文解读] Correlating power consumption and network traffic for improving data centers resiliency

Roberto Baldoni, Mario Caruso+4 more|arXiv (Cornell University)|May 12, 2014

Cloud Computing and Resource Management参考文献 17被引用 3

一句话总结

本文提出了一种非侵入式监控方法，通过关联服务器功耗与网络流量来提升数据中心的弹性，无需在服务器上部署软件代理。在意大利政府数据中心开展的为期6个月的实验表明，网络流量与功耗之间存在强烈且一致的相关性（皮尔逊相关系数 r > 0.7），从而实现无需在服务器上部署软件即可预测故障。

ABSTRACT

The deployment of business critical applications and information infrastructures are moving to the cloud. This means they are hosted in large scale data centers with other business applications and infrastructures with less (or none) mission critical constraints. This mixed and complex environment makes very challenging the process of monitoring critical applications and handling (detecting and recovering) possible failures of servers' data center that could affect responsiveness and/or reliability of mission critical applications. Monitoring mechanisms used in data center are usually intrusive in the sense that they need to install agents on each single server. This has considerable drawbacks: huge usage of human resources to install and patch the system and interference with the critical application because agents share application resources. In order to detect (and possibly predict) failures in data centers the paper does a first attempt in showing the correlation between network traffic and servers' power consumption. This is an important step in deriving non-intrusive monitoring systems, as both network traffic and power consumption can be captured without installing any software at the servers. This will improve in its turn the overall resiliency of the data center and its self-managing capacity.

研究动机与目标

• 解决大规模数据中心在托管关键任务应用时，传统侵入式代理监控方法的局限性。
• 探索仅使用网络流量和功耗数据的非侵入式、黑盒监控技术。
• 验证在真实数据中心环境中，网络流量与服务器功耗之间存在可测量的相关性。
• 通过被动观测功耗与网络指标，实现早期故障预测并提升数据中心弹性。
• 支持部署低运维成本的自管理、高弹性数据中心。

提出的方法

• 在意大利经济与财政部分部（MEF）生产数据中心开展为期6个月的实验。
• 通过数据包嗅探技术收集网络流量数据，未引入延迟或改变原始流量。
• 使用智能电源分配单元（smart-PDUs）在机架级别测量功耗。
• 采用10分钟滑动窗口，采样间隔为10秒，计算视在功率与数据包速率的平均值。
• 计算网络流量（每秒数据包数）与视在功耗之间的皮尔逊积矩相关系数（ρ）。
• 分析多个时间段内的时序相关性模式，以识别强相关性、正相关或负相关关系。

实验结果

研究问题

• RQ1 在真实数据中心环境中，网络流量与服务器功耗之间是否存在统计显著的相关性？
• RQ2 该相关性是否可用于在不部署软件代理的情况下检测或预测系统故障？
• RQ3 该相关性在不同工作负载和时间间隔下是否稳定且一致？
• RQ4 相关性模式能否区分正常运行与异常行为（如硬件故障）？
• RQ5 该相关性是否支持设计非侵入式、黑盒监控系统以提升数据中心弹性？

主要发现

• 在整个6个月的数据集中，网络流量与功耗之间始终观察到较强的正相关性（皮尔逊相关系数 > 0.7）。
• 三个不同时间段显示出高相关性（r ≈ 1），表明流量与功耗同步上升或下降。
• 一个时间段表现出负相关性，即流量下降而功耗上升，提示可能存在异常或内部处理模式变化。
• 未发现相关系数接近零（r ≈ 0）的时间段，表明两者之间存在持续且非随机的关系。
• 相关性在时间上稳定且可观测，支持利用这些指标实现被动、非侵入式监控。
• 结果验证了功耗与网络流量可作为系统健康状况的可靠代理指标，实现无需软件代理的故障预测。