[논문 리뷰] Robust Plan Evaluation based on Approximate Probabilistic Machine Learning

Amin Kamali, Verena Kantere외 2명|arXiv (Cornell University)|2024. 01. 26.

Data Management and Algorithms인용 수 5

한 줄 요약

본 논문은 Roq를 소개한다. Roq는 근사 확률적 ML을 사용해 쿼리 계획을 평가하고 선택하는 강건성 중심의 쿼리 최적화기로, 최신 방법들보다 강건성을 향상시킨다.

ABSTRACT

Query optimizers in RDBMSs search for execution plans expected to be optimal for given queries. They use parameter estimates, often inaccurate, and make assumptions that may not hold in practice. Consequently, they may select plans that are suboptimal at runtime if estimates and assumptions are not valid. Therefore, they do not sufficiently support robust query optimization. Using ML to improve data systems has shown promising results for query optimization. Inspired by this, we propose Robust Query Optimizer (Roq), a holistic framework based on a risk-aware learning approach. Roq includes a novel formalization of the notion of robustness in the context of query optimization and a principled approach for its quantification and measurement based on approximate probabilistic ML. It also includes novel strategies and algorithms for query plan evaluation and selection. Roq includes a novel learned cost model that is designed to predict the cost of query execution and the associated risks and performs query optimization accordingly. We demonstrate that Roq provides significant improvements in robust query optimization compared with the state-of-the-art.

연구 동기 및 목표

• 쿼리 최적화에서의 강건성 형식화.
• 평가를 위한 위험 인지 학습 프레임워크 개발.
• 실행 비용과 관련 위험을 예측하는 학습된 비용 모델 설계.
• 강건한 계획 평가 및 선정을 위한 전략 제안.
• 기존의 강건 최적화 방법에 비해 향상을 시연.

제안 방법

• 쿼리 최적화 맥락에서의 강건성 정의.
• 확률적 ML 기반의 포괄적 프레임워크 Roq 소개.
• 계획 비용과 위험을 추정하는 학습된 비용 모델 개발.
• 강건한 계획 평가 및 선정을 위한 전략과 알고리즘 개발.
• 근사 확률 기법을 사용하여 강건성 정량화.
• Roq를 최신의 벤치마크와 비교 평가.

실험 결과

연구 질문

• RQ1 쿼리 최적화에서 강건성은 어떻게 형식화되고 측정될 수 있는가?
• RQ2 근사 확률적 ML 접근법이 강건성을 위한 계획 평가 및 선정을 향상시킬 수 있는가?
• RQ3 위험을 포함하는 학습된 비용 모델이 쿼리 최적화 결과에 미치는 영향은 무엇인가?
• RQ4 기존의 강건 최적화 방법에 비해 Roq의 성능은 어떠한가?
• RQ5 실무에서 강건한 계획 평가 및 선정을 가능하게 하는 최선의 전략은 무엇인가?

주요 결과

• Roq는 최신 기술과 비교하여 강건한 쿼리 최적화에서 상당한 향상을 제공합니다.
• 새로운 강건성 형식화 및 위험 인지 측정 프레임워크가 개발되었습니다.
• 학습된 비용 모델이 쿼리 실행 비용과 관련 위험을 예측합니다.
• 새로운 전략과 알고리즘이 강건한 계획 평가 및 선정을 가능하게 합니다.
• 실증 결과는 강건 최적화 시나리오에서 Roq의 효과를 뒷받침합니다.