[论文解读] A Data-Driven Approach to Dynamically Adjust Resource Allocation for Compute Clusters

Francesco Pace, Dimitrios Milios+3 more|ArXiv.org|Jul 1, 2018

Cloud Computing and Resource Management参考文献 30被引用 4

一句话总结

本文提出了一种数据驱动的、动态的计算集群资源分配机制，通过高斯过程回归预测应用资源使用情况，并实时调整分配以减少资源闲置。通过结合预测不确定性与悲观的抢占策略，系统将平均完成时间减少了50%以上，资源闲置减少了约40%，且未发生应用故障，显著提升了集群的效率与响应能力。

ABSTRACT

Nowadays, data-centers are largely under-utilized because resource allocation is based on reservation mechanisms which ignore actual resource utilization. Indeed, it is common to reserve resources for peak demand, which may occur only for a small portion of the application life time. As a consequence, cluster resources often go under-utilized. In this work, we propose a mechanism that improves cluster utilization, thus decreasing the average turnaround time, while preventing application failures due to contention in accessing finite resources such as RAM. Our approach monitors resource utilization and employs a data-driven approach to resource demand forecasting, featuring quantification of uncertainty in the predictions. Using demand forecast and its confidence, our mechanism modulates cluster resources assigned to running applications, and reduces the turnaround time by more than one order of magnitude while keeping application failures under control. Thus, tenants enjoy a responsive system and providers benefit from an efficient cluster utilization.

研究动机与目标

• 解决云集群中因静态预留式分配导致的数据中心资源广泛未被充分利用的问题。
• 在不增加应用故障风险的前提下，减少资源闲置——即分配资源与实际使用量之间的差距。
• 通过基于实时需求预测的动态调整资源分配，提升系统响应能力与集群利用率。
• 设计一种机制，在预测不确定性与系统安全性之间取得平衡，避免因资源不足（如RAM）导致的故障。
• 在真实测试平台上，使用Apache Spark和TensorFlow应用的代表性工作负载，对方法进行验证。

提出的方法

• 使用高斯过程（GP）回归对应用资源使用情况（CPU、RAM）随时间的变化进行建模与预测，捕捉时间动态特性与不确定性。
• 引入预测置信区间以指导资源分配调整，确保对资源不足的防护安全边际。
• 采用悲观的抢占策略，仅在安全时才重新分配资源，最大限度降低动态调整过程中的故障风险。
• 实时监控集群节点的资源使用情况，并将其与应用行为相关联，用于训练和更新预测模型。
• 与FIFO调度器集成，通过受控实验对比静态预留式分配与动态调整的效果。
• 使用包含10台服务器的真实测试平台和真实工作负载（Spark与TensorFlow），在真实条件下评估性能。

实验结果

研究问题

• RQ1 如何实现准确且具备不确定性感知的资源利用率预测，以支持在共享集群中安全地进行动态资源分配？
• RQ2 与静态预留式分配相比，动态资源调整对集群完成时间与资源闲置的影响如何？
• RQ3 如何缓解预测误差，以防止应用故障，特别是针对无法共享的资源（如RAM）？
• RQ4 何种抢占策略最能平衡动态分配系统中的响应能力与可靠性？
• RQ5 动态分配在不增加故障率的前提下，能在多大程度上提升集群利用率？

主要发现

• 与基线静态预留系统相比，该动态分配机制将资源闲置减少了约40%。
• 由于队列时间缩短和资源分配响应更迅速，应用的中位完成时间减少了约50%。
• 在所有实验中，即使在高负载下，系统也实现了零应用或组件故障，前提是使用了悲观的抢占策略。
• 通过使用具备不确定性感知的预测，实现了安全且激进的资源调整，最大限度减少了空闲容量，同时未影响可靠性。
• 该方法在提升系统响应能力与效率方面表现出显著改进，尤其在处理弹性与刚性应用混合工作负载时表现突出。
• 结果在真实测试平台和真实工作负载下得到验证，证实了所提机制的可扩展性与鲁棒性。