[论文解读] Efficient Resource Management in Cloud Environment

Smruti Rekha Swain, Ashutosh Kumar Singh+1 more|arXiv (Cornell University)|Jun 24, 2022

Cloud Computing and Resource Management被引用 11

一句话总结

本文全面综述了云计算中基于机器学习的资源管理技术，重点聚焦于虚拟机部署（VMP）与虚拟机迁移，以优化资源利用率并降低能耗。论文提出了一套概念性框架，整合了工作负载预测、动态虚拟机部署与安全的多资源负载均衡，关键贡献在于识别出面向节能、符合服务质量（QoS）的云数据中心的关键挑战与未来研究方向。

ABSTRACT

In cloud computing resource management plays a significant role in data centres and it is directly dependent on the application workload. Various services such as Infrastructure as a Service (IaaS), Platform as a Service (PaaS), and Software as a Service (SaaS) are offered by cloud computing to provide compute, network, and storage capabilities to the cloud users utilizing the pay-per-usage approach. Resource allocation is a prior solution to address various demanding situations like the under/overload handling, resource wastage, load balancing, Quality-of-Services (QoS) violations, VM migration and many more. The primary aim of Virtual Machine Placement (VMP) is mapping of Virtual Machines (VMs) to physical machines (PMs), such that the PMs may be utilized to their maximum efficiency, where the already active VMs are not to be interrupted. It provides a list of live VM migrations that must be accomplished to get the optimum solution and reduces energy consumption to a larger extent. The inefficient VMP leads to wastage of resources, excessive energy consumption and also increase overall operational cost of the data center. On this context, this article provides an extensive survey of resource management schemes in cloud environment. A conceptual scheme for resource management, grouping of current machine learning based resource allocation strategies, and fundamental problems of ineffective distribution of physical resources are analyzed. Thereafter, a complete survey of existing techniques in machine learning based mechanisms in the field of cloud resource management are explained. Ultimately, the paper explores and concludes distinct approaching challenges and future research guidelines associated to resource management in cloud environment.

研究动机与目标

• 解决因虚拟机部署（VMP）不佳与虚拟机迁移策略次优导致的云数据中心资源利用率低下问题。
• 分析现有静态及单资源负载均衡技术的局限性，这些技术无法有效应对动态多资源工作负载。
• 识别关键挑战，如工作负载预测不准确、过载/欠载期间服务等级协议（SLA）违规，以及资源分配中的安全漏洞。
• 提出一个统一的智能框架，集成预测、部署、迁移与负载均衡，以提升能效与QoS。
• 提出未来研究方向，以实现支持实时性、多资源、安全与容错能力的云资源管理系统。

提出的方法

• 提出一个概念性资源管理框架，整合应用层、虚拟机层与物理机层的负载预测、虚拟机部署、虚拟机迁移与负载均衡。
• 将现有的基于机器学习的资源分配策略分类为如人工神经网络（ANN）、长短期记忆递归神经网络（LSTM-RNN）、PSO-NSGA-II混合算法，以及用于神经网络优化的自适应差分进化算法等类别。
• 提出一种结合粒子群优化（PSO）与非支配排序遗传算法II（NSGA-II）的多目标方法（PSOGA），用于通信成本感知的虚拟机部署，以提升资源利用率并减少响应时间。
• 采用基于LSTM-RNN与自适应差分进化的动态预测模型，以提升预测精度与收敛速度，优于传统反向传播算法。
• 倡导构建同构平台，以实现预测、资源供给、部署与迁移操作之间的交互，实现整体优化。
• 建议利用历史与实时资源使用数据对预测器进行实时再训练，以提升在动态环境中的适应性与准确性。

实验结果

研究问题

• RQ1 机器学习模型如何提升云环境中未来资源需求预测的准确性，以防止SLA违规？
• RQ2 在过载/欠载条件下，如何实现最优的实时虚拟机迁移策略，以最小化停机时间与性能下降？
• RQ3 资源管理系统如何高效地同时平衡多种资源（如CPU、内存、带宽），以避免性能瓶颈？
• RQ4 安全在资源分配中扮演何种角色？如何在不损害性能或资源利用率的前提下，确保虚拟机间的通信安全？
• RQ5 如何将工作负载预测、虚拟机部署与负载均衡整合为单一协同框架，以提升能效与QoS？

主要发现

• LSTM-RNN模型在工作负载预测精度方面优于传统ANN与反向传播算法，但需要更高的计算时间。
• PSOGA混合算法（PSO + NSGA-II）在虚拟机部署中提升了资源利用率并减少了响应时间，但未考虑集群级别的虚拟机映射。
• 基于自适应差分进化的神经网络优化方法收敛速度优于标准SaDE，但算法复杂度有所增加。
• 现有方法通常仅关注单资源负载均衡（如仅CPU），当内存或带宽等其他资源受限时，易导致性能瓶颈。
• 预测不足与被动迁移策略会导致性能下降、SLA违规以及数据中心能耗增加。
• 未来云资源管理亟需一个统一的、实时的、多资源、安全且具备容错能力的框架，以满足不断演进的QoS与可持续性需求。