[论文解读] GPTuner: A Manual-Reading Database Tuning System via GPT-Guided Bayesian Optimization

Jiale Lao, Yi‐Bo Wang+7 more|arXiv (Cornell University)|Nov 6, 2023

Data Stream Mining Techniques被引用 4

一句话总结

GPTuner 是一个数据库调优系统，利用大语言模型（LLMs）从 DBMS 手册、论坛和 LLM 生成的洞察中提取并结构化领域知识，从而实现基于知识的、粗粒度到细粒度的贝叶斯优化框架。该系统在 TPC-C 和 TPC-H 工作负载下，将调优时间减少了 16 倍，并在 PostgreSQL 和 MySQL 上实现了相较于最先进方法高达 30% 的性能提升。

ABSTRACT

Modern database management systems (DBMS) expose hundreds of configurable knobs to control system behaviours. Determining the appropriate values for these knobs to improve DBMS performance is a long-standing problem in the database community. As there is an increasing number of knobs to tune and each knob could be in continuous or categorical values, manual tuning becomes impractical. Recently, automatic tuning systems using machine learning methods have shown great potentials. However, existing approaches still incur significant tuning costs or only yield sub-optimal performance. This is because they either ignore the extensive domain knowledge available (e.g., DBMS manuals and forum discussions) and only rely on the runtime feedback of benchmark evaluations to guide the optimization, or they utilize the domain knowledge in a limited way. Hence, we propose GPTuner, a manual-reading database tuning system. Firstly, we develop a Large Language Model (LLM)-based pipeline to collect and refine heterogeneous knowledge, and propose a prompt ensemble algorithm to unify a structured view of the refined knowledge. Secondly, using the structured knowledge, we (1) design a workload-aware and training-free knob selection strategy, (2) develop a search space optimization technique considering the value range of each knob, and (3) propose a Coarse-to-Fine Bayesian Optimization Framework to explore the optimized space. Finally, we evaluate GPTuner under different benchmarks (TPC-C and TPC-H), metrics (throughput and latency) as well as DBMS (PostgreSQL and MySQL). Compared to the state-of-the-art approaches, GPTuner identifies better configurations in 16x less time on average. Moreover, GPTuner achieves up to 30% performance improvement (higher throughput or lower latency) over the best-performing alternative.

研究动机与目标

• 为解决现有自动化数据库调优系统仅依赖运行时反馈而导致的调优成本高和性能不佳的问题。
• 将异构领域知识（如 DBMS 手册、论坛讨论和 LLM 生成的洞察）整合到结构化的事实知识库中，以实现高效的参数调优。
• 通过利用基于领域知识的工作负载感知、无需训练的参数选择与取值范围优化，缩小数据库配置参数的搜索空间。
• 开发一种粗粒度到细粒度的贝叶斯优化框架，首先在基于知识引导的有希望的子空间中进行探索，然后在完整的异构空间中进行精细化搜索。
• 与现有的基于机器学习的调优系统相比，实现显著更短的调优时间下更优越的性能表现。

提出的方法

• 采用提示词集成算法，从多样化来源（包括 DBMS 手册、网络论坛和 LLM，如 GPT）中提取并统一结构化的调优知识，确保事实一致性。
• 构建一个名为 Tuning Lake 的结构化知识仓库，其中每个参数均关联来自多个来源的自然语言调优指导。
• 基于知识的参数选择策略可在无需训练数据的情况下识别与工作负载相关的参数，利用领域知识优先选择高影响力参数。
• 采用搜索空间优化技术，基于领域知识缩小每个参数的取值范围，降低系统崩溃风险并提升收敛速度。
• 采用粗粒度到细粒度的贝叶斯优化框架，首先在离散的、基于知识的子空间中高效探索，随后在完整异构空间中进行细粒度搜索，避免遗漏最优配置。
• 通过 LLM 实施事实一致性检查，迭代式地优化知识库，确保在优化前的可靠性。

Figure 2. Motivating Example

实验结果

研究问题

• RQ1 LLM 提取的领域知识是否能在不依赖大量训练数据的前提下，显著缩小数据库调优中的配置搜索空间？
• RQ2 基于结构化领域知识引导的粗粒度到细粒度贝叶斯优化策略，在提升调优效率和性能方面效果如何？
• RQ3 在性能和调优成本方面，整合异构知识源（手册、论坛、LLM）在多大程度上优于纯反馈驱动的调优系统？
• RQ4 基于知识的参数选择与取值范围缩减是否能提升自动化调优的收敛速度和鲁棒性？
• RQ5 所提出的系统在多种工作负载和 DBMS 平台下，是否能实现优于最先进自动化调优方法的性能表现和更快的收敛速度？

主要发现

• 与最先进自动化调优系统相比，GPTuner 平均在 16 倍更短的时间内找到性能更优的数据库配置。
• 该系统在性能上实现了最高达 30% 的提升（以更高的吞吐量或更低的延迟衡量），优于现有方法找到的最佳配置。
• 基于知识的搜索空间缩减显著缩小了有效配置空间，降低了系统不稳定的风崄，提升了优化效率。
• 粗粒度到细粒度的贝叶斯优化框架成功平衡了探索与利用，在保持高效率的同时避免了粗粒度搜索的缺陷。
• 将 LLM 生成的洞察与官方手册及论坛讨论相结合，产生了仅靠厂商文档无法获得的可操作调优指导。
• 该系统在多个 DBMS（PostgreSQL 和 MySQL）及工作负载（TPC-C 和 TPC-H）中均表现出一致的性能增益，验证了其通用性。

Figure 3. System Overview of GPTuner