[论文解读] A proactive autoscaling and energy-efficient VM allocation framework using online multi-resource neural network for cloud data center

Deepika Saxena, Ashutosh Kumar Singh|arXiv (Cornell University)|Dec 4, 2022

Cloud Computing and Resource Management被引用 7

一句话总结

本文提出了一种基于在线多资源神经网络（OM-FNN）的主动式、节能型虚拟机自动扩展与分配框架，用于云数据中心。通过预测多资源需求、聚类工作负载，并利用多目标优化将虚拟机放置在能效更高的物理机上，该框架相较于基线方法实现了高达88.5%的功耗节省和21.12%更高的资源利用率。

ABSTRACT

This work proposes an energy-efficient resource provisioning and allocation framework to meet the dynamic demands of future applications. The frequent variations in a cloud user's resource demand lead 'to the problem of excess power consumption, resource wastage, performance, and Quality-of-Service degradation. The proposed framework addresses these challenges by matching the application's predicted resource requirement with the resource capacity of VMs precisely and thereby consolidating the entire load on the minimum number of energy-efficient physical machines. The three consecutive contributions of the proposed work are: Online Multi-Resource Feed-forward Neural Network to forecast the multiple resource demands concurrently for future applications; autoscaling of VMs based on the clustering of the predicted resource requirements; allocation of the scaled VMs on the energy-efficient PMs. The integrated approach successively optimizes resource utilization, saves energy and automatically adapts to the changes in future application resource demand. The proposed framework is evaluated by using real workload traces of the benchmark Google Cluster Dataset and compared against different scenarios including energy-efficient VM placement with resource prediction only, VMP without resource prediction and autoscaling, and optimal VMP with autoscaling based on actual resource utilization. The observed results demonstrate that the proposed integrated approach achieves near-optimal performance against optimal VMP and outperforms rest of the VMPs in terms of power saving and resource utilization up to 88.5% and 21.12% respectively. In addition, the OM-FNN predictor shows better accuracy, lesser time and space complexity over a traditional single-input and single-output feed-forward neural network predictor.

研究动机与目标

• 为解决云数据中心中动态工作负载变化导致的资源浪费、性能下降和高功耗问题。
• 开发一种主动系统，实时预测多资源需求（CPU、内存、I/O），以实现高效的虚拟机自动扩展。
• 优化虚拟机在物理机上的放置，以最小化活跃物理机数量并降低功耗，同时保持服务质量（QoS）。
• 将预测、自动扩展和放置整合为统一框架，实现近似最优性能。
• 利用真实世界工作负载轨迹，在功耗效率和资源利用率方面超越现有方法。

提出的方法

• 设计了一种在线多资源前馈神经网络（OM-FNN），可同时预测多种资源需求（CPU、内存、I/O），其时间与空间复杂度低于传统SISO-FNN。
• 根据预测的资源需求对工作负载进行聚类，以分组相似的应用程序，实现高效的虚拟机供应。
• 基于聚类特定的资源预测结果，主动执行虚拟机自动扩展，确保容量充足且避免过度配置。
• 提出一种多目标虚拟机放置算法（MLB），通过差分进化求解Pareto最优解，以最小化活跃物理机数量和功耗使用，同时保持负载均衡。
• 将预测、自动扩展和放置整合为闭环系统，持续优化能效与资源效率。
• 基于真实Google集群数据集轨迹进行评估，并与多种基线方法（包括首次适应、随机适应以及基于实际利用率的最优放置）进行对比。

Figure 1: Bird eye view of proposed work

实验结果

研究问题

• RQ1 单一在线多资源神经网络是否能在预测云虚拟机多资源需求方面优于多个单输出网络？
• RQ2 基于预测工作负载的主动自动扩展在多大程度上可提升资源利用率并降低功耗？
• RQ3 所提出的多目标虚拟机放置算法在最小化活跃物理机数量和功耗使用方面，相较于基于启发式的方案效果如何？
• RQ4 与精确最优算法相比，该集成框架是否实现了接近最优的性能表现（在能效与资源利用率方面）？
• RQ5 随着数据中心规模和工作负载复杂度的增加，该框架的性能如何扩展？

主要发现

• 所提出的PA-VMP框架相较于WPWA-VMP基线方法，功耗最高降低88.5%，资源利用率提升21.12%。
• OM-FNN预测器在准确率方面表现更优，且时间与空间复杂度低于传统SISO-FNN，实现了更快、更高效的多资源预测。
• 与Best-Fit（BF-VMP）相比，活跃物理机数量减少84.3%；与Random-Fit（RF-VMP）相比，减少85.1%，显著降低了功耗。
• 功耗降低幅度为70.7–89.8%（相对于BF-VMP）和70.2–91.1%（相对于RF-VMP），在小型数据中心（200台虚拟机）中观察到最高节省。
• 该框架实现了接近最优的性能，与精确最优算法（OA-VMP）结果高度接近，尤其在功耗节省和资源利用率方面表现优异。
• 预测、自动扩展与优化放置的集成显著减少了虚拟机迁移次数，并提升了负载聚合效果，从而增强了整体系统效率。

Figure 2: Workflow of proposed predictive and autoscaling framework