[논문 리뷰] Adaptive Cardinality Estimation

О. П. Иванов, Sergey Bartunov|arXiv (Cornell University)|2017. 11. 22.

Advanced Database Systems and Queries참고 문헌 22인용 수 9

한 줄 요약

이 논문은 관계형 데이터베이스의 커스텀 기반 쿼리 최적화를 향상시키기 위해 기계학습을 활용한 적응형 카디널리티 추정 기법을 제안한다. 이전에 실행된 쿼리의 실행 통계를 활용하여 카디널리티 예측을 동적으로 보정함으로써 추정 오차를 감소시키고, 복잡한 쿼리에서 성능을 최대 수십 배 향상시킨다.

ABSTRACT

In this paper we address cardinality estimation problem which is an important subproblem in query optimization. Query optimization is a part of every relational DBMS responsible for finding the best way of the execution for the given query. These ways are called plans. The execution time of different plans may differ by several orders, so query optimizer has a great influence on the whole DBMS performance. We consider cost-based query optimization approach as the most popular one. It was observed that cost-based optimization quality depends much on cardinality estimation quality. Cardinality of the plan node is the number of tuples returned by it. In the paper we propose a novel cardinality estimation approach with the use of machine learning methods. The main point of the approach is using query execution statistics of the previously executed queries to improve cardinality estimations. We called this approach adaptive cardinality estimation to reflect this point. The approach is general, flexible, and easy to implement. The experimental evaluation shows that this approach significantly increases the quality of cardinality estimation, and therefore increases the DBMS performance for some queries by several times or even by several dozens of times.

연구 동기 및 목표

• 비용 기반 쿼리 최적화에서 카디널리티 추정의 부정확성이 데이터베이스 성능에 심각한 영향을 미치는 핵심 문제를 해결한다.
• System R에서의 히스토ограм 기반 추정 및 문장 독립성 가정의 한계를 극복한다.
• 기계학습을 활용해 워크로드 및 데이터 변화에 적응 가능한 유연하고 일반적인 방법을 개발한다.
• 쿼리 최적화기의 정확도를 향상시키고, 열악한 카디널리티 추정으로 인한 성능 저하를 줄인다.

제안 방법

• 기계학습 모델을 위한 카디널리티 예측을 위해 이전에 실행된 쿼리의 실행 통계를 학습 데이터로 활용한다.
• 특징을 쿼리 조건 및 테이블 통계에서 유도하는 방식으로, 카디널리티 추정 문제를 지도 기계학습 문제로 재구성한다.
• 고정 메모리 구현을 통해 대규모 스트리밍 쿼리 워크로드를 처리할 수 있도록 k-최근접 이웃(k-NN)을 핵심 학습 알고리즘으로 적용한다.
• 컬럼 선택도, 조인 조건, 조건 구조를 기반으로 특징 공간을 구성하여 데이터 간 의존성을 포착한다.
• 쿼리 최적화기 내부에 모델을 통합하여 계획 선택 단계에서 카디널리티 재추정을 수행함으로써 비용 모델 정확도를 향상시킨다.
• 특히 중단되거나 성능이 열악한 계획으로부터의 새로운 실행 통계를 활용해 모델을 재학습하거나 업데이트함으로써 동적 적응을 지원한다.

실험 결과

연구 질문

• RQ1 복잡한 쿼리에서 상관관계가 있거나 종속적인 조건이 존재할 경우, 현재의 비용 기반 쿼리 최적화기가 카디널리티 추정 부정확성으로 인해 얼마나 심각하게 실패하는가?
• RQ2 과거 쿼리 실행 통계를 기반으로 학습된 기계학습 모델이 카디널리티 추정 정확도를 상당히 향상시킬 수 있는가?
• RQ3 제안된 적응형 방법의 성능은 복잡한 실세계 워크로드에서 전통적인 통계 기반 접근법과 비교해 어떻게 다른가?
• RQ4 산업용 DBMS에 적합한 확장 가능하고 적응 가능한 카디널리티 추정 시스템을 구축할 때의 주요 설계 상충 요인은 무엇인가?
• RQ5 중단된 실행 통계를 기반으로 한 쿼리 재최적화는 학습 및 계획 품질 향상에 더해 더 나은 성능을 낼 수 있는가?

주요 결과

• 문장 독립성 가정에 기반한 표준 쿼리 최적화기는 특히 복잡한 쿼리에서 최적의 계획보다 수십만 배 이상 느린 계획을 선택하는 경우가 흔하다.
• 제안된 적응형 카디널리티 추정 방법은 카디널리티 추정 오차를 감소시키고, 최적에 훨씬 가까운 계획을 선택할 수 있도록 하여, 복잡한 쿼리에서 최대 수십 배의 성능 향상을 달성한다.
• 이 방법은 전통적인 최적화기가 잘못된 선택도 추정으로 실패하는 복잡한 쿼리에서 특히 뛰어난 성능을 보이며, 이는 쿼리가 계산적으로 비용이 많이 들지 않더라도 마찬가지다.
• TPC-H, TPC-DS, JOB 및 StrongCor 벤치마크에서의 실험 평가를 통해 뚜렷한 성능 향상이 확인되었으며, 특히 고복잡도 쿼리 워크로드에서 가장 큰 향상이 관찰되었다.
• 특히 심각한 카디널리티 과소추정이 발생한 부분적으로 실행된 또는 중단된 쿼리의 통계를 활용하면 모델 학습이 가속화되고, 열악한 계획의 전체 실행을 피할 수 있다.
• 고정 메모리 저장 방식을 사용하는 k-NN 기반 접근법은 변화하는 데이터와 워크로드에 대해 확장 가능하고 실시간으로 적응 가능하지만, 동적 적응 메커니즘은 여전히 열린 연구 과제로 남아 있다.