[논문 리뷰] GPTuner: A Manual-Reading Database Tuning System via GPT-Guided Bayesian Optimization

Jiale Lao, Yi‐Bo Wang외 7명|arXiv (Cornell University)|2023. 11. 06.

Data Stream Mining Techniques인용 수 4

한 줄 요약

GPTuner는 DBMS 매뉴얼, 포럼, LLM 생성 인사이트에서 도메인 지식을 추출하고 구조화하여 지식 기반의 Coarse-to-Fine 베이지안 최적화 프레임워크를 구현하는 데이터베이스 튜닝 시스템입니다. 이는 TPC-C 및 TPC-H 워크로드 하에서 PostgreSQL과 MySQL 환경에서 기존 최고 수준의 방법보다 튜닝 시간을 16배 감소시키고 성능 향상을 최대 30% 달성합니다.

ABSTRACT

Modern database management systems (DBMS) expose hundreds of configurable knobs to control system behaviours. Determining the appropriate values for these knobs to improve DBMS performance is a long-standing problem in the database community. As there is an increasing number of knobs to tune and each knob could be in continuous or categorical values, manual tuning becomes impractical. Recently, automatic tuning systems using machine learning methods have shown great potentials. However, existing approaches still incur significant tuning costs or only yield sub-optimal performance. This is because they either ignore the extensive domain knowledge available (e.g., DBMS manuals and forum discussions) and only rely on the runtime feedback of benchmark evaluations to guide the optimization, or they utilize the domain knowledge in a limited way. Hence, we propose GPTuner, a manual-reading database tuning system. Firstly, we develop a Large Language Model (LLM)-based pipeline to collect and refine heterogeneous knowledge, and propose a prompt ensemble algorithm to unify a structured view of the refined knowledge. Secondly, using the structured knowledge, we (1) design a workload-aware and training-free knob selection strategy, (2) develop a search space optimization technique considering the value range of each knob, and (3) propose a Coarse-to-Fine Bayesian Optimization Framework to explore the optimized space. Finally, we evaluate GPTuner under different benchmarks (TPC-C and TPC-H), metrics (throughput and latency) as well as DBMS (PostgreSQL and MySQL). Compared to the state-of-the-art approaches, GPTuner identifies better configurations in 16x less time on average. Moreover, GPTuner achieves up to 30% performance improvement (higher throughput or lower latency) over the best-performing alternative.

연구 동기 및 목표

• 운영 시간 피드백에만 의존하는 기존 자동 데이터베이스 튜닝 시스템의 높은 튜닝 비용과 열악한 성능 문제를 해결하기 위해.
• DBMS 매뉴얼, 포럼 토론, LLM 생성 인사이트와 같은 이질적인 도메인 지식을 통합하여 효과적인 컨피그레이션 노브 튜닝을 위한 구조화된 사실 기반 지식 기반으로 정리하기 위해.
• 도메인 지식을 기반으로 워크로드 인식형, 학습이 필요 없는 컨피그레이션 노브 선택 및 값 범위 최적화를 통해 검색 공간을 축소하기 위해.
• 지식 기반으로 유망한 부분공간을 탐색한 후 전체 이질적 공간에서 정밀 탐색을 수행하는 지식 기반 Coarse-to-Fine 베이지안 최적화 프레임워크를 개발하기 위해.
• 기존 기계학습 기반 튜닝 시스템에 비해 훨씬 더 빠른 튜닝 시간으로 뛰어난 성능을 달성하기 위해.

제안 방법

• 다양한 소스(예: DBMS 매뉴얼, 웹 포럼, LLMs(예: GPT))에서 구조화된 튜닝 지식을 추출하고 통합하기 위해 프롬프트 앙상블 알고리즘을 사용하며, 사실 일관성을 보장합니다.
• 각 컨피그레이션 노브가 다수의 소스에서 유도된 자연어 튜닝 가이던스와 연결된 구조화된 지식 저장소인 Tuning Lake를 구축합니다.
• 학습 데이터가 필요 없이 도메인 지식을 활용해 워크로드 관련 컨피그레이션 노브를 식별하는 지식 기반 컨피그레이션 노브 선택 전략을 적용합니다.
• 도메인 지식 기반으로 각 컨피그레이션 노브의 값 설정 범위를 좁히는 검색 공간 최적화 기법을 통해 시스템 장애 위험을 줄이고 수렴 속도를 향상시킵니다.
• 효율성을 확보하기 위해 처음에는 지식 기반으로 정보가 제공된 이산 부분공간을 탐색하고, 이후 전체 이질적 공간에서 정밀 탐색을 수행하는 Coarse-to-Fine 베이지안 최적화 프레임워크를 구현합니다.
• 최적화 이전에 신뢰성 확보를 위해 LLM을 통한 사실 일관성 검증을 반복적으로 수행하여 지식 기반을 정교화합니다.

Figure 2. Motivating Example

실험 결과

연구 질문

• RQ1 LLM에서 추출한 도메인 지식는 훈련 데이터가 많지 않은 상황에서도 데이터베이스 튜닝의 설정 검색 공간을 상당히 줄일 수 있는가?
• RQ2 구조화된 도메인 지식에 기반한 Coarse-to-Fine 베이지안 최적화 전략은 튜닝 효율성과 성능 향상에 얼마나 효과적인가?
• RQ3 공식 매뉴얼, 포럼, LLM 등 이질적 지식 소스를 통합하면 피드백 중심의 튜닝 시스템에 비해 성능과 튜닝 비용 측면에서 얼마나 뛰어나게 성과를 낼 수 있는가?
• RQ4 지식 기반의 컨피그레이션 노브 선택 및 값 설정 범위 축소 전략은 자동 튜닝의 수렴 속도와 강건성 향상에 기여하는가?
• RQ5 제안된 시스템은 다양한 워크로드와 DBMS 플랫폼에서 기존 최고 수준의 자동 튜닝 접근 방식에 비해 더 뛰어난 성능과 더 빠른 수렴 속도를 달성하는가?

주요 결과

• GPTuner는 기존 최고 수준의 자동 튜닝 시스템보다 평균적으로 16배 빠른 시간 안에 더 우수한 데이터베이스 설정을 도출합니다.
• 기존 방법으로 찾을 수 있었던 최고 성능 설정보다 최대 30% 향상된 성능을 달성합니다(더 높은 처리량 또는 낮은 지연 시간 측정 기준).
• 지식 기반의 검색 공간 축소 전략은 유효 설정 공간을 상당히 줄여 시스템 불안정성 위험을 감소시키고 최적화 효율을 향상시킵니다.
• Coarse-to-Fine 베이지안 최적화 프레임워크는 탐색과 이용의 균형을 잘 유지하여 군중 탐색의 단점을 피하면서도 높은 효율성을 유도합니다.
• 공식 매뉴얼과 포럼 토론에 더해 LLM 생성 인사이트를 통합함으로써 제조사 문서만으로는 찾을 수 없는 실질적인 튜닝 가이던스를 도출합니다.
• 다양한 DBMS(포스트그레스 및 마이스큐엘)와 워크로드(TPC-C 및 TPC-H) 전반에서 일관된 성능 향상을 보이며 일반화 능력을 입증합니다.

Figure 3. System Overview of GPTuner