[论文解读] Dynamic Virtual Machine Management via Approximate Markov Decision Process

Zhenhua Han, Haisheng Tan+4 more|arXiv (Cornell University)|Jan 30, 2016

Cloud Computing and Resource Management参考文献 17被引用 4

一句话总结

本文提出 MadVM，一种基于近似马尔可夫决策过程（MDP）的动态虚拟机（VM）管理框架，旨在优化数据中心的能效与资源利用率。通过将虚拟机资源需求建模为马尔可夫链，并采用具有收敛性保证的价值迭代算法，MadVM 将功耗最多降低 47%，并将资源短缺降至接近零，优于 CompVM 和 CloudScale 等基线方法在真实工作负载轨迹上的表现。

ABSTRACT

Efficient virtual machine (VM) management can dramatically reduce energy consumption in data centers. Existing VM management algorithms fall into two categories based on whether the VMs' resource demands are assumed to be static or dynamic. The former category fails to maximize the resource utilization as they cannot adapt to the dynamic nature of VMs' resource demands. Most approaches in the latter category are heuristical and lack theoretical performance guarantees. In this work, we formulate dynamic VM management as a large-scale Markov Decision Process (MDP) problem and derive an optimal solution. Our analysis of real-world data traces supports our choice of the modeling approach. However, solving the large-scale MDP problem suffers from the curse of dimensionality. Therefore, we further exploit the special structure of the problem and propose an approximate MDP-based dynamic VM management method, called MadVM. We prove the convergence of MadVM and analyze the bound of its approximation error. Moreover, MadVM can be implemented in a distributed system, which should suit the needs of real data centers. Extensive simulations based on two real-world workload traces show that MadVM achieves significant performance gains over two existing baseline approaches in power consumption, resource shortage and the number of VM migrations. Specifically, the more intensely the resource demands fluctuate, the more MadVM outperforms.

研究动机与目标

• 解决静态虚拟机管理方法的局限性，后者无法适应动态资源需求且资源利用率低下。
• 克服现有基于启发式方法的动态虚拟机管理在缺乏理论保证方面的问题。
• 将动态虚拟机管理建模为大规模无限时域 MDP 问题，以最小化长期成本（能耗 + 资源短缺）。
• 设计一种可扩展、分布式且具有理论收敛保证的算法，以近似最优 MDP 解。
• 基于真实工作负载轨迹评估该方法，并显著提升在功耗效率、资源利用率和迁移开销方面的性能。

提出的方法

• 将动态虚拟机管理建模为无限时域 MDP，其成本函数结合了功耗与资源短缺。
• 使用一阶马尔可夫链对虚拟机资源需求的转移进行建模，经真实工作负载轨迹分析验证，显示其具有准平稳性与非均匀转移概率。
• 提出 MadVM，一种基于价值迭代的近似 MDP 算法，引入压缩映射以确保收敛性。
• 引入一种分布式实现方式，仅需极少的全局状态信息，从而提升可扩展性与容错能力。
• 证明 MadVM 的收敛性，并推导出其近似误差相对于最优 MDP 解的上界。
• 采用改进的价值迭代方案，引入投影步骤至低维子空间，以降低计算复杂度。

实验结果

研究问题

• RQ1 将虚拟机资源需求动态建模为马尔可夫链，能否有效捕捉真实数据中心工作负载中的时间相关性？
• RQ2 在大规模 MDP 中，如何在保持理论性能保证的前提下缓解维度灾难问题？
• RQ3 基于近似 MDP 的方法能否在能效与资源可用性方面超越现有的基于启发式方法的虚拟机管理算法？
• RQ4 所提算法相对于最优 MDP 解的近似误差边界是多少？
• RQ5 该算法能否在不牺牲收敛性或性能的前提下，实现高效的分布式实现？

主要发现

• 在真实工作负载轨迹上，MadVM 相较于 CompVM 和 CloudScale，平均功耗分别降低 19% 和 42%。
• 在高波动性工作负载下，MadVM 相较于 CloudScale 最多可降低 47% 的功耗，展现出更优的适应能力。
• MadVM 在所有评估工作负载中均保持接近零的资源短缺，显著优于基线方法，在服务级别协议合规性方面表现更优。
• 该算法实现了收敛，且近似误差有界，通过压缩映射与序列分析得到理论证明。
• MadVM 的分布式设计具备强健性与可扩展性，适用于大规模数据中心部署。
• 实验结果证实，将虚拟机需求建模为具有准稳态转移概率的马尔可夫链，对动态虚拟机管理具有实际有效性。