[论文解读] Cloud Index Tracking: Enabling Predictable Costs in Cloud Spot Markets

Supreeth Shastri, David Irwin|arXiv (Cornell University)|Sep 10, 2018

Blockchain Technology Applications and Security参考文献 28被引用 7

一句话总结

本文提出云指数追踪（Cloud Index Tracking）机制，一种利用云中各类实例价格的聚合指数来实现云抢占式市场中成本可预测性的迁移策略。通过跟踪该稳定指数的偏离情况，系统可在不采用激进迁移策略的前提下，确保低开销、高可用性的工作负载，实现接近按需价格的成本可预测性，同时保持与保守迁移策略相当的可用性水平。

ABSTRACT

Cloud spot markets rent VMs for a variable price that is typically much lower than the price of on-demand VMs, which makes them attractive for a wide range of large-scale applications. However, applications that run on spot VMs suffer from cost uncertainty, since spot prices fluctuate, in part, based on supply, demand, or both. The difficulty in predicting spot prices affects users and applications: the former cannot effectively plan their IT expenditures, while the latter cannot infer the availability and performance of spot VMs, which are a function of their variable price. To address the problem, we use properties of cloud infrastructure and workloads to show that prices become more stable and predictable as they are aggregated together. We leverage this observation to define an aggregate index price for spot VMs that serves as a reference for what users should expect to pay. We show that, even when the spot prices for individual VMs are volatile, the index price remains stable and predictable. We then introduce cloud index tracking: a migration policy that tracks the index price to ensure applications running on spot VMs incur a predictable cost by migrating to a new spot VM if the current VM's price significantly deviates from the index price.

研究动机与目标

• 解决云抢占式市场中的成本不确定性问题，该问题源于实例价格受供需关系及云服务商算法变动影响而不可预测地波动。
• 克服以往价格预测模型在不同实例类型、可用区和区域之间缺乏泛化能力而导致的局限性。
• 设计一种迁移策略，在不牺牲可用性的前提下实现成本可预测性，即使在抢占式价格剧烈波动时亦能保持稳定。
• 证明聚合的抢占式价格可形成一个独立于单个实例价格波动的稳定、可预测指数。
• 表明追踪该指数可实现成本感知的迁移，同时保持高虚拟机可用性，优于仅追求成本最小化或仅关注可用性的策略。

提出的方法

• 作者将云指数价格定义为某一区域内所有实例类型和可用区的抢占式价格的加权平均值，其稳定性显著高于单个实例价格。
• 观察发现，尽管单个抢占式价格受局部供需影响而波动，但聚合指数价格因实例类型和区域间的分散效应而保持稳定。
• 云指数追踪策略通过监控当前实例价格，当其与指数价格出现显著偏离时触发迁移，从而确保成本可预测性。
• 系统利用历史数据计算指数价格，并动态更新以反映市场变化，确保长期相关性。
• 该策略在 AWS EC2 上实现，并通过真实工作负载进行评估，与现有策略对比分析成本可预测性和可用性表现。
• 该方法对 EC2 内部定价算法变更具有鲁棒性，因其基于市场整体趋势而非单个实例行为。

实验结果

研究问题

• RQ1 能否构建一个聚合的抢占式虚拟机价格指数，使其显著比单个实例价格更稳定、更可预测？
• RQ2 追踪该指数是否能实现成本可预测的迁移，同时不损害虚拟机的可用性？
• RQ3 在成本可预测性和系统可用性方面，云指数追踪相较于现有成本最小化和可用性优先的迁移策略表现如何？
• RQ4 该指数价格对云服务商定价算法变更（如 EC2 2017 年的算法更新）的鲁棒性如何？
• RQ5 该指数能否用于支持长期决策（如预留虚拟机采购），通过追踪长期价格趋势？

主要发现

• 云指数价格显著比单个抢占式虚拟机价格更稳定、更可预测，各类实例类型和可用区之间的方差更低。
• 云指数追踪策略实现了接近指数价格的成本可预测性——实际成本在理论最低成本的 5% 以内，同时保持了高可用性。
• 该策略的可用性水平与保守型迁移策略（如 HotSpot）相当，但迁移开销显著更低，且被终止的实例数量远少于激进的成本最小化策略。
• 即使在 EC2 于 2017 年末更新其定价算法以降低单个实例价格波动后，指数价格依然保持稳定和可预测，证明了该方法的鲁棒性。
• 过去十年的指数价格走势显示，按需虚拟机价格呈持续下降趋势，凸显其在长期成本规划和预留实例决策中的实用价值。
• 该方法使应用程序能够在无需复杂个体价格预测的前提下实现成本可预测性，适用于企业级工作负载。