[论文解读] An Uncertainty-Aware Approach To Optimal Configuration Of Stream Processing Systems

Pooyan Jamshidi, Giuliano Casale|arXiv (Cornell University)|Jun 22, 2016

Simulation Techniques and Applications参考文献 25被引用 13

一句话总结

该论文提出BO4CO，一种贝叶斯优化框架，利用高斯过程对流处理系统（SPS）性能中的不确定性进行建模，并在有限的实验预算下迭代选择最优配置。通过在噪声大、高维的配置空间中智能平衡探索与利用，该方法在性能上至少实现了基线方法10倍的提升。

ABSTRACT

The datasets in this release support the results presented in the paper P. Jamshidi, G. Casale, "An Uncertainty-Aware Approach to Optimal Configuration of Stream Processing Systems", accepted for presentation at MASCOTS 2016. An open access to the paper is available at https://arxiv.org/abs/1606.06543 Also open source code is available at https://github.com/dice-project/DICE-Configuration-BO4CO The archive contains 10 comma separated datasets representing performance measurements (throughput and latency) for 3 different stream benchmark applications. These have been experimentally collected on 5 different cloud cluster over the course of 3 months (24/7). Each row in the datasets represents a different configuration setting for the application and the last two columns represent the average performance of the application measured over the course of 10 minutes under that specific configuration setting. The datasets contains a full factorial and exhaustive measurements for all possible settings limited to a predetermined interval for each variable. Each dataset is named in the following format: "<em>benchmark_application-dimensions-cluster_name</em>". For example, "wc-6d-c1" refers to WordCount benchmark application with 6 dimensions (i.e., we varied 6 configuration parameters) and the application was deployed on c1 cluster (OpenNebula, see Appendix). This resulted in a dataset of size 2880, i.e., it has taken 2880*10m=480h=20days for collecting the data! For more information about the data refer to the appendix of the paper: https://arxiv.org/abs/1606.06543. When referring to the dataset or code please cite the paper above.

研究动机与目标

• 解决在有限实验预算和噪声测量条件下，流处理系统（SPS）最优配置的挑战。
• 减少对耗时且需专家知识的启发式、基于规则或试错法调优方法的依赖。
• 开发一种自动化、具备不确定性感知能力的配置优化框架，以高效探索复杂且非线性的配置空间。
• 通过基于概率建模的顺序实验，实现对近似最优SPS配置的准确且快速收敛。

提出的方法

• BO4CO使用高斯过程（GPs）将SPS性能的响应曲面建模为配置的后验分布。
• 它利用贝叶斯优化，基于平衡探索与利用的采集函数，顺序选择下一次测试的配置。
• 该算法维护过去实验的历史记录，并通过新数据更新GP模型，以细化不确定性估计并提高搜索效率。
• 它支持连续和分类配置参数，包括整数、布尔值以及序列化方法或消息框架等分类变量。
• 该方法采用多种核估计器，以捕捉配置参数之间复杂的非线性相互作用。
• 采集函数引导实验向具有高潜力达到最优性能的区域进行，同时最小化不确定性。

实验结果

研究问题

• RQ1 贝叶斯优化方法是否能有效减少在流处理系统中寻找最优配置所需的实验次数？
• RQ2 与传统启发式或基于搜索的方法相比，具备不确定性感知的配置调优在性能上如何提升？
• RQ3 在采样有限的条件下，高斯过程在多大程度上能够对SPS性能的非线性和噪声响应曲面进行建模？
• RQ4 所提出的方法在不同SPS工作负载和系统配置下是否具有良好的泛化能力？

主要发现

• 在距离最优配置的距离方面，BO4CO相较于基线配置算法，性能至少提升了10倍。
• 该方法在有限的实验预算内定位到最优配置，在Apache Storm基准测试中表现出极高的样本效率。
• 在整个调优过程中，学习到的GP模型提供了可靠的性能预测，使在极少测量次数下也能做出明智决策。
• 在三个不同的SPS工作负载中，BO4CO在收敛速度和准确性方面均优于五种基线方法，表现出一致的优越性。
• 该算法通过系统性地减少响应曲面的不确定性，保证了最终发现最优配置。