[论文解读] A Framework for Allocating Server Time to Spot and On-demand Services in Cloud Computing

Xiaohu Wu, Francesco De Pellegrini+2 more|arXiv (Cornell University)|Feb 4, 2019

Cloud Computing and Resource Management参考文献 38被引用 4

一句话总结

本文提出了一种新颖的框架，用于在云计算环境中动态分配服务器时间给按需服务与抢占式服务，确保按需用户能及时获得服务，同时抢占式用户在出价成功后可实现稳定、长期的资源利用。通过将时间划分为固定时长的离散时隙，并采用基于优先级的分配机制与最优抢占式定价策略，该框架相较仅提供按需服务的模型，可将云服务提供商的收入提升高达461.5%。

ABSTRACT

Cloud computing delivers value to users by facilitating their access to computing capacity in periods when their need arises. An approach is to provide both on-demand and spot services on shared servers. The former allows users to access servers on demand at a fixed price and users occupy different periods of servers. The latter allows users to bid for the remaining unoccupied periods via dynamic pricing; however, without appropriate design, such periods may be arbitrarily small since on-demand users arrive randomly. This is also the current service model adopted by Amazon Elastic Cloud Compute. In this paper, we provide the first integral framework for sharing the time of servers between on-demand and spot services while optimally pricing spot instances. It guarantees that on-demand users can get served quickly while spot users can stably utilize servers for a properly long period once accepted, which is a key feature to make both on-demand and spot services accessible. Simulation results show that, by complementing the on-demand market with a spot market, a cloud provider can improve revenue by up to 464.7%. The framework is designed under assumptions which are met in real environments. It is a new tool that cloud operators can use to quantify the advantage of a hybrid spot and on-demand service, eventually making the case for operating such service model in their own infrastructures.

研究动机与目标

• 设计一个统一框架，公平且高效地在云环境中的按需用户与抢占式用户之间共享服务器时间。
• 确保按需用户在到达后能快速获得服务，同时抢占式用户在出价成功后可实现稳定、不间断的资源利用。
• 制定抢占式实例的最优定价策略，以在不损害按需服务质量的前提下最大化云服务提供商的收入。
• 在现实假设条件下验证该框架，包括按需请求的随机到达与可变的抢占式出价。
• 量化在真实云基础设施中集成混合按需/抢占式模型所带来的资源利用率与收入提升效益。

提出的方法

• 时间被划分为固定时长（k分钟）的离散时隙，服务器分配在每个时隙开始时更新，以最小化干扰。
• 按需用户被赋予优先级，并在单个时隙内完成服务，确保等待时间极短。
• 抢占式用户竞标未使用的服务器时间；被接受的出价将被分配至服务器，并在多个时隙中连续使用，确保每次分配的有效利用时间至少为k−k′分钟。
• 采用并行化服务模型协调抢占式与按需请求，使用PTC（基于优先级的时间分段）策略进行服务器分配。
• 抢占式价格根据需求动态设定，框架确保最低接受出价即为支付金额，与完成时间或等待成本无关。
• 该框架假设现实条件：按需请求随机到达，已知按需价格，且抢占式出价可在发起后任意时间取消。

实验结果

研究问题

• RQ1 如何在按需用户与抢占式用户之间分配服务器时间，以确保按需响应时间低且抢占式利用稳定？
• RQ2 抢占式实例的何种定价策略可最大化云服务提供商收入，同时维持按需用户的服务质量？
• RQ3 与仅提供按需服务的模型相比，混合按需/抢占式模型在多大程度上能提升服务器利用率与收入？
• RQ4 在不同抢占式出价到达率与系统负载下，该框架的性能如何变化？
• RQ5 时隙时长与虚拟机加载时间对有效抢占式利用率与系统稳定性有何影响？

主要发现

• 当在按需市场基础上增加抢占式市场时，该框架可使云服务提供商收入最高提升461.5%。
• 在每个时隙有30个抢占式出价时，该框架相比Dierks和Seuken（2019）的模型，平均单位收入提升达2.816倍。
• 在每个时隙有60个抢占式出价时，收入提升比率为2.181倍；在120个出价时，提升比率为1.736倍，表明随着抢占式需求增加，收益增长呈现递减趋势。
• 该框架确保每个抢占式用户在每次分配中获得至少k−k′分钟的有效利用时间，其中k′为虚拟机加载时间（例如~3分钟），从而支持有意义的工作执行。
• PTC策略实现了稳定的任务分配，并防止了同一时隙内按需用户对抢占式任务的抢占，显著提升了系统可靠性。
• 由于支持灵活出价与最优定价，该框架在中等至高抢占式需求下，相较先前模型（如Dierks和Seuken，2019）在收入效率方面表现更优。