[논문 리뷰] Facilitating Database Tuning with Hyper-Parameter Optimization: A Comprehensive Experimental Evaluation

Xinyi Zhang, Zhuo Chang외 5명|arXiv (Cornell University)|2021. 10. 25.

Data Stream Mining Techniques참고 문헌 84인용 수 5

한 줄 요약

이 논문은 초파ram터 최적화(HPO) 기법을 사용하여 데이터베이스 설정 튜닝을 위한 종합적인 평가 프레임워크를 제안하며, SHAP 기반의 노브 선택과 SMAC 기반의 최적화가 종합적인 성능을 가장 잘 달성함을 입증한다. 이는 튜닝 비용을 줄이기 위해 서rogate 기반 벤치마크를 도입하여 다양한 워크로드와 설정 공간에서 HPO 알고리즘에 대한 광범위한 분석을 가능하게 한다.

ABSTRACT

Recently, using automatic configuration tuning to improve the performance of modern database management systems (DBMSs) has attracted increasing interest from the database community. This is embodied with a number of systems featuring advanced tuning capabilities being developed. However, it remains a challenge to select the best solution for database configuration tuning, considering the large body of algorithm choices. In addition, beyond the applications on database systems, we could find more potential algorithms designed for configuration tuning. To this end, this paper provides a comprehensive evaluation of configuration tuning techniques from a broader perspective, hoping to better benefit the database community. In particular, we summarize three key modules of database configuration tuning systems and conduct extensive ablation studies using various challenging cases. Our evaluation demonstrates that the hyper-parameter optimization algorithms can be borrowed to further enhance the database configuration tuning. Moreover, we identify the best algorithm choices for different modules. Beyond the comprehensive evaluations, we offer an efficient and unified database configuration tuning benchmark via surrogates that reduces the evaluation cost to a minimum, allowing for extensive runs and analysis of new techniques.

연구 동기 및 목표

• 데이터베이스 튜닝 모듈 간에 체계적이고 세밀한 평가가 부족한 문제를 해결하기 위해.
• 데이터베이스 튜닝 시스템에서 노브 선택, 설정 최적화, 지식 전이에 최적의 알고리즘 선택을 식별하기 위해.
• 평가 비용을 줄이기 위해 효율적이고 확장 가능한 분석을 가능하게 하기 위해 서rogate 기반 벤치마크를 도입하여 튜닝 실험 비용을 최소화하기 위해.
• 일반적인 초파라미터 최적화 분야에서의 HPO 기법이 데이터베이스 설정 튜닝에 효과적으로 적용될 수 있는지 탐색하기 위해.
• 예산 제약 조건 하에서 알고리즘적 트레이드오프와 성능를 실험적으로 분석하여 향후 종합적인 데이터베이스 튜닝 시스템 설계를 안내하기 위해.

제안 방법

• 서rogate 모델을 사용하여 데이터베이스 성능을 모의하는 통합 벤치마크를 제안하여 설정 튜닝 평가 비용을 극적으로 감소시킴.
• 다양한 설정 공간 차원을 고려하기 위해 197개의 별도 노브 세트(상위 1개에서 상위 197개까지)를 사용하여 성능 평가.
• SHAP, 라소, 민감도 분석 등 5종의 중요도 측정 기법을 적용하여 관련이 없는 노브를 순위 매기고 제거.
• 두 워크로드와 197개의 노브 세트에서 6종의 최적화 알고리즘(SMAC, 혼합 커널을 사용한 베이지안 최적화, DDPG 등)을 평가.
• 이전 데이터를 활용한 지식 전이를 위해 RGPE(Randomized Gaussian Process Ensemble)를 통합하여 튜닝 속도를 향상.
• 11,820개의 실험(197 × 5 × 6 × 2)을 수행하여 알고리즘 구성 요소 간의 분석 및 상호 비교를 가능하게 함.

실험 결과

연구 질문

• RQ1 SHAP, 라소, 민감도 분석 등 중요도 측정 방법 중 어떤 것이 기본 설정이 합리적으로 설정된 경우에 비해 성능 손실를 최소화하면서 핵심 노브를 가장 잘 식별하는가?
• RQ2 SMAC, DDPG, 베이지안 최적화 등 최적화 알고리즘 중 어떤 것이 다양한 설정 공간에서 가장 빠른 수렴 속도와 높은 성능을 달성하는가?
• RQ3 RGPE와 같은 프레임워크를 통한 지식 전이는 튜닝 효율성을 어떻게 향상시키며, 부정적 전이의 위험은 무엇인가?
• RQ4 제한된 자원 하에서 노브 선택과 설정 최적화 간에 튜닝 예산을 어떻게 최적 배분할 수 있는가?
• RQ5 일반적인 초파라미터 최적화 분야의 HPO 기법이 데이터베이스 설정 튜닝에 효과적으로 적용될 수 있으며, 측정 가능한 성과 향상을 이끌 수 있는가?

주요 결과

• SHAP는 기본 설정이 합리적으로 설정된 경우에 특히 뛰어난 성능을 보이며, 영향력 있는 노브를 식별하는 데 다른 중요도 측정 기법보다 뛰어나다.
• SMAC는 고차원적이고 이질적인 설정 공간에서 전체적으로 가장 뛰어난 성능을 달성하며, BO 및 강화학습 기반 최적화기보다 뛰어나다.
• RGPE 기반의 지식 전이는 역사적 데이터를 적절히 가중하여 튜닝 시간을 크게 단축시키고 수렴 속도를 향상시키며, 부정적 전이를 방지한다.
• DDPG 기반 강화학습은 가능성은 있으나, 새로운 워크로드에 적용될 경우 부정적 전이로 인해 일반화 능력이 제한된다.
• 서rogate 벤치마크로 평가 비용을 최소화하여 실제 데이터베이스 실행으로는 불가능한 11,820개의 실험을 다양한 설정에서 수행할 수 있게 되었으며,
• SHAP를 통한 노브 선택과 SMAC를 통한 최적화를 RGPE 기반 전이 프레임워크 내에서 조합하면 종합적인 튜닝 성능이 가장 뛰어나다.