[论文解读] Facilitating Database Tuning with Hyper-Parameter Optimization: A Comprehensive Experimental Evaluation

Xinyi Zhang, Zhuo Chang+5 more|arXiv (Cornell University)|Oct 25, 2021

Data Stream Mining Techniques参考文献 84被引用 5

一句话总结

本文提出了一种基于超参数优化（HPO）技术的数据库配置调优综合评估框架，表明基于SHAP的参数选择与基于SMAC的优化在端到端性能上表现最佳。该研究引入了一种基于代理模型的基准测试方法，以降低调优成本，从而实现对多样化工作负载和配置空间中HPO算法的广泛分析。

ABSTRACT

Recently, using automatic configuration tuning to improve the performance of modern database management systems (DBMSs) has attracted increasing interest from the database community. This is embodied with a number of systems featuring advanced tuning capabilities being developed. However, it remains a challenge to select the best solution for database configuration tuning, considering the large body of algorithm choices. In addition, beyond the applications on database systems, we could find more potential algorithms designed for configuration tuning. To this end, this paper provides a comprehensive evaluation of configuration tuning techniques from a broader perspective, hoping to better benefit the database community. In particular, we summarize three key modules of database configuration tuning systems and conduct extensive ablation studies using various challenging cases. Our evaluation demonstrates that the hyper-parameter optimization algorithms can be borrowed to further enhance the database configuration tuning. Moreover, we identify the best algorithm choices for different modules. Beyond the comprehensive evaluations, we offer an efficient and unified database configuration tuning benchmark via surrogates that reduces the evaluation cost to a minimum, allowing for extensive runs and analysis of new techniques.

研究动机与目标

• 为解决现有数据库调优模块中配置调优算法缺乏系统性、细粒度的评估问题。
• 识别数据库调优系统中参数选择、配置优化及知识迁移的最优算法选择。
• 通过引入基于代理模型的基准，降低调优实验的高成本，实现高效且可扩展的分析。
• 探索来自超参数优化领域更广泛背景的HPO技术在数据库配置调优中的可迁移性。
• 通过算法权衡与预算约束下性能的实证分析，指导未来端到端数据库调优系统的设计。

提出的方法

• 提出统一的基准测试框架，利用代理模型模拟数据库性能，极大降低配置调优评估成本。
• 采用197组不同的参数集合（从top-1到top-197）评估在不同配置空间维度下的性能表现。
• 应用五种重要性度量方法（包括SHAP、Lasso和敏感性分析）对参数进行排序并剔除无关参数。
• 在197组参数集合和两个工作负载上，评估六种优化算法（SMAC、混合核贝叶斯优化、DDPG等）。
• 通过RGPE（随机高斯过程集成）实现知识迁移，利用历史数据加速调优过程。
• 执行11,820次实验（197 × 5 × 6 × 2），以支持消融研究及算法组件的对比分析。

实验结果

研究问题

• RQ1 哪种重要性度量方法（如SHAP、Lasso、敏感性分析）能最有效地识别关键调优参数，同时将性能损失降至最低？
• RQ2 哪种优化算法（如SMAC、DDPG、贝叶斯优化）在多样化配置空间中实现最快收敛与最高性能？
• RQ3 通过RGPE等框架实现的知识迁移如何提升调优效率？其负面迁移的风险是什么？
• RQ4 在资源有限条件下，如何最优分配调优预算至参数选择与配置优化阶段？
• RQ5 来自超参数优化领域更广泛背景的HPO技术能否在数据库配置调优中有效应用，并带来可测量的性能提升？

主要发现

• 当默认配置设置合理时，SHAP在识别最具影响力的参数方面始终优于其他重要性度量方法。
• SMAC在高维与异构配置空间中整体表现最佳，优于贝叶斯优化与强化学习类优化器。
• 基于RGPE的知识迁移显著缩短调优时间并提升收敛性，通过自适应加权历史数据避免负面迁移。
• 基于DDPG的强化学习方法展现出潜力，但在新工作负载上易出现负面迁移，限制其泛化能力。
• 代理基准将评估成本降至最低，使11,820次实验在多样化配置下成为可能，而这些实验在真实数据库运行中将不可行。
• 在RGPE迁移框架下，结合SHAP进行参数选择与SMAC进行优化，可实现最佳端到端调优性能。