[论文解读] Low-Level Augmented Bayesian Optimization for Finding the Best Cloud VM

Chin-Jung Hsu, Vivek Nair+2 more|arXiv (Cornell University)|Dec 28, 2017

Cloud Computing and Resource Management参考文献 16被引用 7

一句话总结

本文提出低层次增强贝叶斯优化（LA-BO），通过将低层次性能指标（如CPU利用率、内存压力和I/O等待时间）整合到代理模型中，增强了传统贝叶斯优化在云虚拟机选择中的性能。通过引入这些系统级信号，LA-BO显著降低了搜索成本并提升了优化性能，在107个工作负载中的46个中优于标准贝叶斯优化，同时在脆弱场景下避免了次优解。

ABSTRACT

With the advent of big data applications, which tends to have longer execution time, choosing the right cloud VM to run these applications has significant performance as well as economic implications. For example, in our large-scale empirical study of 107 different workloads on three popular big data systems, we found that a wrong choice can lead to a 20 times slowdown or an increase in cost by 10 times. Bayesian optimization is a technique for optimizing expensive (black-box) functions. Previous attempts have only used instance-level information (such as # of cores, memory size) which is not sufficient to represent the search space. In this work, we discover that this may lead to the fragility problem---either incurs high search cost or finds only the sub-optimal solution. The central insight of this paper is to use low-level performance information to augment the process of Bayesian Optimization. Our novel low-level augmented Bayesian Optimization is rarely worse than current practices and often performs much better (in 46 of 107 cases). Further, it significantly reduces the search cost in nearly half of our case studies. Based on this work, we conclude that it is often insufficient to use general-purpose off-the-shelf methods for configuring cloud instances without augmenting those methods with essential systems knowledge such as CPU utilization, working memory size and I/O wait time.

研究动机与目标

• 解决贝叶斯优化在为多样化工作负载选择最优云虚拟机时的脆弱性问题。
• 探究低层次性能指标是否能够提升贝叶斯优化在虚拟机配置搜索中的准确性和效率。
• 降低搜索成本，并避免在标准贝叶斯优化因实例级信息不足而失效的场景中出现次优解。
• 证明系统级知识（如CPU利用率、I/O等待时间）对于有效云资源配置至关重要。
• 提供一种可泛化的框架，用于将领域特定的性能信号增强至现成的优化方法中。

提出的方法

• 在标准贝叶斯优化的输入空间中引入运行时收集的低层次性能指标，包括CPU利用率、工作内存大小和I/O等待时间。
• 将这些低层次指标整合到代理模型（高斯过程）中，以提升对不同虚拟机配置下工作负载性能的预测准确性。
• 使用改进的采集函数，结合实例级属性（如核心数、内存）和实时低层次指标，指导搜索决策。
• 通过轻量级监控工具在工作负载执行期间以极低监控开销收集低层次指标。
• 采用混合建模策略，结合参数化与非参数化组件，以更好地捕捉性能趋势。
• 设计优化循环，根据实时系统反馈动态调整探索与利用的平衡，从而提升收敛速度和解的质量。

实验结果

研究问题

• RQ1 低层次性能指标能否提升贝叶斯优化在选择最优云虚拟机时的有效性？
• RQ2 与标准贝叶斯优化相比，通过引入系统级信号扩展实例空间是否能降低搜索成本并避免次优解？
• RQ3 在多样化的大数据工作负载中，LA-BO与CherryPick等最先进方法相比表现如何？
• RQ4 在何种场景下，标准贝叶斯优化因搜索空间表征不足而失效，LA-BO如何缓解此问题？
• RQ5 低层次指标（如CPU利用率和I/O等待时间）与虚拟机性能及配置效率的相关性在多大程度上显著？

主要发现

• 在107个工作负载中的46个中，LA-BO在解的质量和搜索成本方面均优于标准贝叶斯优化。
• 该方法在近一半的评估工作负载中显著降低了搜索成本，证明了其效率优势。
• 由于搜索空间表征不足，标准贝叶斯优化在50%的工作负载中面临高搜索成本或产生次优结果。
• 在性能图谱的区域III中，标准贝叶斯优化需13轮迭代才能找到最优虚拟机，而LA-BO收敛更快，并避免了基线中1.75倍的性能下降。
• 整合CPU利用率、工作内存大小和I/O等待时间等低层次指标，显著提升了代理模型的预测能力。
• 研究结论表明，未经关键系统知识增强的现成贝叶斯优化方法通常不足以胜任云虚拟机选择任务。