[论文解读] Managing Deadline-constrained Bag-of-Tasks Jobs on Hybrid Clouds

Bo Wang, Ying Song+2 more|arXiv (Cornell University)|Apr 28, 2016

Cloud Computing and Resource Management参考文献 16被引用 9

一句话总结

本文提出一种启发式算法，用于在混合云环境中调度具有截止期限约束的“任务包”（BoT）作业，以最小化公共云租赁成本，同时最大化本地资源利用率。通过优先处理最接近截止期限的任务，并动态分配最具成本效益的物理机或虚拟机（VM），该方法相较首次适应递减（FFD）算法，将租赁成本降低16.2%–76%，并将资源利用率提升47.3%–182.8%。

ABSTRACT

Outsourcing jobs to a public cloud is a cost-effective way to address the problem of satisfying the peak resource demand when the local cloud has insufficient resources. In this paper, we study on managing deadline-constrained bag-of-tasks jobs on hybrid clouds. We present a binary nonlinear programming (BNP) problem to model the hybrid cloud management where the utilization of physical machines (PMs) in the local cloud/cluster is maximized when the local resources are enough to satisfy the deadline constraints of jobs, while when not, the rent cost from the public cloud is minimized. To solve this BNP problem in polynomial time, we proposed a heuristic algorithm. Its main idea is assigning the task closest to its deadline to current core until the core cannot finish any task within its deadline. When there is no available core, the algorithm adds an available PM with most capacity or rents a new VM with highest cost-performance ratio. Extensive experimental results show that our heuristic algorithm saves 16.2%-76% rent cost and improves 47.3%-182.8% resource utilizations satisfying deadline constraints, compared with first fit decreasing algorithm.

研究动机与目标

• 解决在异构本地资源环境下，高效管理具有截止期限约束的“任务包”（BoT）作业的挑战。
• 在最大化本地物理机（PM）利用率的同时，最小化从公共云租赁虚拟机（VM）的成本。
• 设计一种多项式时间启发式算法，在严格截止期限约束下有效映射任务到资源。
• 使用真实世界工作负载，将该算法的性能与首次适应递减（FFD）基线进行对比评估。
• 在科学和数据密集型工作负载的混合云环境中，平衡成本最小化与资源利用率。

提出的方法

• 将混合云管理问题建模为二元非线性规划（BNP）模型，以联合优化本地PM利用率与公共云租赁成本。
• 提出一种启发式算法，根据最小化完成时间与截止期限之差的原则，将任务分配到核心。
• 当现有资源无法在截止期限内完成任何任务时，算法选择可用容量最高的物理机，或租赁成本-性能比最优的虚拟机。
• 通过在每一步选择最高效的本地PM或公共云VM，动态扩展资源池。
• 采用两阶段策略：首先将任务分配给现有核心以最小化截止期限偏差；其次仅在必要时才配置新资源。
• 使用成本-性能比指标优先租赁虚拟机，确保在扩展公共云资源时保持成本效率。

实验结果

研究问题

• RQ1 如何在混合云中联合优化任务调度与资源配置，以最小化具有截止期限约束的BoT作业的公共云租赁成本？
• RQ2 异构本地资源对混合云作业管理的效率与成本有何影响？
• RQ3 启发式算法能否在多项式时间内实现对NP难BNP模型的近似最优性能？
• RQ4 与首次适应递减（FFD）算法相比，所提算法在成本节约与资源利用率方面表现如何？
• RQ5 在确保所有作业均满足截止期限的前提下，本地资源利用率能在多大程度上被最大化？

主要发现

• 所提出的启发式算法在两个真实工作负载轨迹上，相较首次适应递减（FFD）算法，租赁成本降低16.2%至76%。
• 在截止期限约束下，资源利用率相较FFD提升47.3%至182.8%，表明本地资源使用效率更高。
• 该算法具有高可扩展性，在多种工作负载模式与截止期限约束下均表现良好。
• BNP模型有效捕捉了本地资源利用率与公共云成本之间的权衡，支持高效混合云管理。
• 启发式解法计算效率高，运行时间在多项式时间内，适用于实际部署。
• 该算法通过优先处理最接近截止期限的任务，并智能配置最具成本效益的资源，优于FFD。