[论文解读] Learning-based Automatic Parameter Tuning for Big Data Analytics Frameworks

Liang Bao, Xin Liu+1 more|arXiv (Cornell University)|Aug 17, 2018

Cloud Computing and Resource Management被引用 9

一句话总结

该论文提出 AutoTune，一种基于学习的自动参数调优系统，用于大数据分析框架（BDAFs），通过使用更小规模的测试平台生成更多训练样本，在时间约束下提升预测模型的准确性。该方法结合拉丁超立方采样与多阶段边界搜索，以探索高维参数空间，在 Spark 工作负载上实现相较于默认配置 63.70% 的平均性能提升，以及相较于最先进方法 6%-23% 的提升。

ABSTRACT

Big data analytics frameworks (BDAFs) have been widely used for data processing applications. These frameworks provide a large number of configuration parameters to users, which leads to a tuning issue that overwhelms users. To address this issue, many automatic tuning approaches have been proposed. However, it remains a critical challenge to generate enough samples in a high-dimensional parameter space within a time constraint. In this paper, we present AutoTune--an automatic parameter tuning system that aims to optimize application execution time on BDAFs. AutoTune first constructs a smaller-scale testbed from the production system so that it can generate more samples, and thus train a better prediction model, under a given time constraint. Furthermore, the AutoTune algorithm produces a set of samples that can provide a wide coverage over the high-dimensional parameter space, and searches for more promising configurations using the trained prediction model. AutoTune is implemented and evaluated using the Spark framework and HiBench benchmark deployed on a public cloud. Extensive experimental results illustrate that AutoTune improves on default configurations by 63.70% on average, and on the five state-of-the-art tuning algorithms by 6%-23%.

研究动机与目标

• 解决在时间约束下，高维参数空间中采样受限的问题，以实现大数据分析框架（BDAFs）的调优。
• 通过使用能反映生产系统行为的小规模测试平台，提升性能优化预测模型的准确性。
• 开发一种高效的搜索算法，在参数空间中平衡探索与利用。
• 在 Spark 工作负载上，实现相较于默认配置和现有调优算法的执行时间减少。
• 实现面向真实世界大数据应用的实用化、自动化与可扩展的参数调优。

提出的方法

• 从生产系统构建一个更小规模的测试平台，以加速训练样本的生成，同时保留性能变化特征。
• 使用拉丁超立方采样（LHS）在高维参数空间中生成多样化且分布均匀的样本。
• 在测试平台上训练基于随机森林的性能预测模型，以估算不同配置下的应用执行时间。
• 应用多阶段边界搜索，对预测模型识别出的有潜力的配置逐步缩小搜索空间。
• 在测试平台训练、探索与最终在生产系统上的验证之间合理分配时间，以最大化调优效率。
• 集成测试平台与生产系统的工作流，以在固定时间预算下验证并选择最佳配置。

实验结果

研究问题

• RQ1 更小规模的测试平台是否能有效捕捉不同配置下的性能变化，同时实现更快的训练样本生成？
• RQ2 像拉丁超立方采样这样的采样策略在高维参数空间中如何提升覆盖范围与效率？
• RQ3 结合学习预测模型与边界搜索的方法，在 BDAF 配置调优中相较于随机或启发式调优方法，能实现多大程度的性能超越？
• RQ4 AutoTune 框架在性能提升方面相较于默认配置和现有最先进调优算法表现如何？
• RQ5 在时间约束下，自动化参数调优中探索、利用与验证时间之间的权衡关系是什么？

主要发现

• 在 HiBench 基准测试的 Spark 工作负载上，AutoTune 相较于默认配置实现了平均 63.70% 的执行时间减少。
• 与五种最先进调优算法（BestConfig、RFHOC、Hyperopt、SMAC 和 Random）相比，AutoTune 实现了 6% 至 23% 的性能提升。
• 该系统在包括 WordCount、PageRank 和 GBT 在内的七个多样化大数据应用中均表现出稳定且显著的性能提升。
• 随机搜索表现出意外的优越性，但 AutoTune 平均仍以 7.35% 的优势持续超越它，验证了其学习与搜索策略的有效性。
• 使用测试平台使样本生成速度相比直接在生产系统上进行调优提升了 100 倍以上，从而在时间限制内实现更优的模型训练。
• 多阶段边界搜索机制能有效聚焦于高性能配置附近的搜索空间，提升收敛速度与调优效率。