[논문 리뷰] Learning to Optimize Join Queries With Deep Reinforcement Learning

Sanjay Krishnan, Zongheng Yang외 3명|arXiv (Cornell University)|2018. 08. 09.

Optimization and Search Problems참고 문헌 50인용 수 82

한 줄 요약

본 논문은 고정 휴리스틱을 대체하기 위해 조인 탐색 전략을 학습하는 심층 강화 학습 기반 최적화기 DQ를 제안하며, Calcite, PostgreSQL, SparkSQL 전반에서 더 빠른 학습으로 경쟁력 있는 실행 계획을 달성합니다.

ABSTRACT

Exhaustive enumeration of all possible join orders is often avoided, and most optimizers leverage heuristics to prune the search space. The design and implementation of heuristics are well-understood when the cost model is roughly linear, and we find that these heuristics can be significantly suboptimal when there are non-linearities in cost. Ideally, instead of a fixed heuristic, we would want a strategy to guide the search space in a more data-driven way---tailoring the search to a specific dataset and query workload. Recognizing the link between classical Dynamic Programming enumeration methods and recent results in Reinforcement Learning (RL), we propose a new method for learning optimized join search strategies. We present our RL-based DQ optimizer, which currently optimizes select-project-join blocks. We implement three versions of DQ to illustrate the ease of integration into existing DBMSes: (1) A version built on top of Apache Calcite, (2) a version integrated into PostgreSQL, and (3) a version integrated into SparkSQL. Our extensive evaluation shows that DQ achieves plans with optimization costs and query execution times competitive with the native query optimizer in each system, but can execute significantly faster after learning (often by orders of magnitude).

연구 동기 및 목표

• 비선형 조인 비용과 큰 계획 공간에서 고정 휴리스틱의 한계를 제시한다.
• 전통적 옵티마이저 프레임워크 내에서 조인 탐색 전략을 학습하기 위한 강화 학습 접근법을 제안한다.
• 최소한의 코드 변경으로 DQ 시스템을 여러 DBMS에 통합하는 것을 시연한다.
• 데이터 기반 계획이 비선형 비용 모델 하에서 계획 시간과 계획 품질 면에서 휴리스틱 기준선을 맞추거나 능가할 수 있음을 보인다.
• 조인 최적화에서 최적 부분구조를 활용한 데이터 효율적 학습을 강조한다.

제안 방법

• 조인 최적화를 상태가 질의 그래프이고 행동이 조인인 마르코프 결정 과정으로 공식화한다.
• 상태 G에서 주어진 조인 c에 대해 Q(G,c) 함수를 근사하기 위해 딥 Q-러닝을 사용한다.
• 질의 그래프 및 조인을 원-핫 속성 지시자와 선택(selection) 및 물리 연산자 선택의 포함으로 특징화한다.
• 최적 부분구조를 활용하여 native 옵티마이저에서 (G,c,J(c),G') 샘플을 생성함으로써 학습 데이터를 효율적으로 수집한다.
• Calcite, PostgreSQL, SparkSQL의 전통적 계획 탐색 모듈을 학습 기반 대체로서 DQ 최적화를 통합한다.
• 오프라인에서 Join Order Benchmark 및 TPC-DS의 워크로드로 최소한의 오버헤드와 선택적 탐색(epsilon-greedy)으로 훈련한다.
• 서브플랜의 모든 조인에 점수를 생성하고 탑-k 계획을 가능하게 하기 위해 정책 기반 방법보다 Q-러닝을 사용하는 것을 정당화한다.

실험 결과

연구 질문

• RQ1 깊은 RL 모델이 다양한 비용 모델과 워크로드에서 잘 작동하는 데이터 기반 조인 탐색 정책을 학습할 수 있는가?
• RQ2 Calcite, PostgreSQL, SparkSQL 전반에서 RL 기반 탐색 정책의 통합이 native 옵티마이저와 비교하여 계획 시간과 계획 품질에 어떤 영향을 미치는가?
• RQ3 이 방법은 고정 휴리스틱보다 비선형 비용 동작(예: 메모리 스필, 재사용 가능한 해시 테이블)을 보다 강건하게 다루는가?
• RQ4 네이티브 옵티마이저의 최적 부분구조 데이터를 학습에 활용하여 달성할 수 있는 데이터 효율성은 어느 정도인가?

주요 결과

• DQ는 일부 시나리오에서 모든 가능한 동적 프로그래밍 열거보다 계획 시간이 최대 >200배 빠르다.
• DQ는 각 시스템에서 네이티브 옵티마이저와 경쟁력 있는 실행 계획을 제공한다.
• DQ는 비선형 비용 모델에서 고정 휴리스틱 대비 계획 품질을 상당한 수준으로 향상시킬 수 있으며(예: 시뮬레이션 비용에서 여섯 기준선에 대해 1.7배에서 3배).
• 네이티브 옵티마이저의 최적 하위 계획을 활용하여 학습 데이터를 효율적으로 생성하고 하나의 계획에서 큰 학습 데이터를 얻는다.
• PostgreSQL 및 SparkSQL에의 통합은 시스템당 300줄 미만의 코드 변경이 필요했다.
• DQ는 계획 속도 향상으로 더 넓은 계획 공간(예: bushy 계획 및 데카르트 곱)을 가능하게 하며 실행 시간상의 이점을 제공할 수 있다.