[论文解读] Multi-factorial Optimization for Large-scale Virtual Machine Placement in Cloud Computing

Zhengping Liang, Jian Zhang+2 more|arXiv (Cornell University)|Jan 18, 2020

IoT and Edge/Fog Computing参考文献 52被引用 4

一句话总结

该论文提出了一种基于贪心分配和再迁移/合并算子的多因子进化算法（MFEA），用于解决异构云环境中的大规模虚拟机放置（LVMP）问题。该方法显著缩短了优化时间——在250,000台虚拟机的情况下仅需37.61秒，同时保持了高资源利用率和低部署成本，在可扩展性和实时性能方面优于HGAPSO和RGGA。

ABSTRACT

The placement scheme of virtual machines (VMs) to physical servers (PSs) is crucial to lowering operational cost for cloud providers. Evolutionary algorithms (EAs) have been performed promising-solving on virtual machine placement (VMP) problems in the past. However, as growing demand for cloud services, the existing EAs fail to implement in large-scale virtual machine placement (LVMP) problem due to the high time complexity and poor scalability. Recently, the multi-factorial optimization (MFO) technology has surfaced as a new search paradigm in evolutionary computing. It offers the ability to evolve multiple optimization tasks simultaneously during the evolutionary process. This paper aims to apply the MFO technology to the LVMP problem in heterogeneous environment. Firstly, we formulate a deployment cost based VMP problem in the form of the MFO problem. Then, a multi-factorial evolutionary algorithm (MFEA) embedded with greedy-based allocation operator is developed to address the established MFO problem. After that, a re-migration and merge operator is designed to offer the integrated solution of the LVMP problem from the solutions of MFO problem. To assess the effectiveness of our proposed method, the simulation experiments are carried on large-scale and extra large-scale VMs test data sets. The results show that compared with various heuristic methods, our method could shorten optimization time significantly and offer a competitive placement solution for the LVMP problem in heterogeneous environment.

研究动机与目标

• 解决传统进化算法（EAs）在大规模虚拟机放置（LVMP）问题中面临的可扩展性与高时间复杂度局限性。
• 将多因子优化（MFO）应用于异构云环境中，同时优化多个相关联的虚拟机放置任务。
• 在MFO框架内构建基于成本的VMP问题，以降低部署成本。
• 通过引入基于贪心的分配算子和再迁移/合并算子，提升解的质量与收敛速度，实现集成化解的生成。
• 在大规模与超大规模测试数据集上评估该方法，验证其在实时性能与可扩展性方面的表现。

提出的方法

• 将基于部署成本的VMP问题建模为多因子优化（MFO）问题，以实现对多个虚拟机放置任务的并行优化。
• 设计一种增强有基于贪心分配算子的多因子进化算法（MFEA），以提升初始解质量与收敛速度。
• 引入再迁移与合并算子，将各独立MFO任务的解进行优化与整合，形成统一的高质量放置配置。
• 采用基于种群的搜索策略，利用多个相关优化任务之间的共享遗传特征，以挖掘隐式并行性。
• 采用包含不同CPU、RAM与磁盘配置的异构物理服务器（PS）环境，以模拟真实世界中的云数据中心。
• 在大规模（最高达50,000台虚拟机）与超大规模（最高达250,000台虚拟机）数据集上开展仿真实验，以验证性能表现。

实验结果

研究问题

• RQ1 多因子优化（MFO）是否能有效降低进化算法在大规模虚拟机放置（LVMP）问题中的时间复杂度，并提升可扩展性？
• RQ2 所提出的MFEA结合基于贪心的分配算子，在优化时间与解质量方面，相较于现有启发式与元启发式方法有何优势？
• RQ3 再迁移与合并算子在多大程度上提升了解的整合效率与整体放置效率？
• RQ4 该方法在虚拟机工作负载规模增加时（特别是超过100,000台虚拟机）的可扩展性如何？
• RQ5 在大规模工作负载下，基于MFO的方法是否能在异构云环境中维持高资源利用率与低部署成本？

主要发现

• 在250,000台虚拟机的测试集上，该方法仅用37.61秒完成优化，显著优于HGAPSO（4319.83秒）与RGGA（2323.15秒）。
• 在超大规模数据集EDS6（250,000台虚拟机）上，该方法实现了85.65%的平均资源利用率，优于HGAPSO的73.72%与RGGA的82.20%。
• 在EDS6上，该方法将部署成本降低至114,808.82单位，低于HGAPSO的154,519.62单位与RGGA的125,991.47单位。
• 每增加50,000台虚拟机，平均运行时间仅增加约7秒，表明其具备出色的可扩展性与稳定性。
• 在EDS6上，该方法维持了高质量的解，平均综合利用率达85.65%，且激活的物理服务器数量仅为26,453.77台。
• 再迁移与合并算子有效将各任务特异性解整合为全局最优的放置配置，提升了解的质量与收敛速度。