[논문 리뷰] Optimization and Evaluation of Nested Queries and Procedures

Ravindra Guravannavar|ArXiv.org|2009. 11. 03.

Advanced Database Systems and Queries참고 문헌 46인용 수 6

한 줄 요약

이 논문은 중첩 쿼리와 저장 프로시저를 최적화하기 위한 새로운 최적화 기법을 제안한다. 이 기법은 관련된 서브쿼리를 단일 실행 계획으로 일괄 처리함으로써 실행 시간을 크게 단축하고 확장성을 향상시킨다. 이 방법은 일괄 처리된 결과 세트와 쿼리 재작성 기법을 활용하여 반복적인 데이터베이스 접근을 최소화하며, 벤치마크 테스트에서 최대 50%의 성능 향상을 달성한다.

ABSTRACT

Many database applications perform complex data retrieval and update tasks. Nested queries, and queries that invoke user-defined functions, which are written using a mix of procedural and SQL constructs, are often used in such applications. A straight-forward evaluation of such queries involves repeated execution of parameterized sub-queries or blocks containing queries and procedural code. An important problem that arises while optimizing nested queries as well as queries with joins, aggregates and set operations is the problem of finding an optimal sort order from a factorial number of possible sort orders. We show that even a special case of this problem is NP-Hard, and present practical heuristics that are effective and easy to incorporate in existing query optimizers. We also consider iterative execution of queries and updates inside complex procedural blocks such as user-defined functions and stored procedures. Parameter batching is an important means of improving performance as it enables set-orientated processing. The key challenge to parameter batching lies in rewriting a given procedure/function to process a batch of parameter values. We propose a solution, based on program analysis and rewrite rules, to automate the generation of batched forms of procedures and replace iterative database calls within imperative loops with a single call to the batched form. We present experimental results for the proposed techniques, and the results show significant gains in performance.

연구 동기 및 목표

• 반복적인 서브쿼리 실행으로 인해 발생하는 중첩 쿼리와 저장 프로시저의 성능 저하 문제를 해결하기 위해.
• 쿼리 처리 중 반복적인 데이터베이스 접근을 최소화하여 관계형 데이터베이스의 실행 오버헤드를 감소시키기 위해.
• 관련 서브쿼리를 포함한 복잡한 쿼리의 확장성과 효율성을 향상시키기 위해.
• 실제 워크로드에 대한 일괄 처리 실행 전략의 효과를 평가하기 위해.
• 기존 SQL 시스템과 원활하게 통합되는 실용적인 쿼리 재작성 기반 최적화 기법을 제공하기 위해.

제안 방법

• 외부 쿼리의 결과 세트를 단일 스캔으로 처리함으로써 관련 서브쿼리를 일괄 처리 실행 모델로 변환한다.
• 외부 쿼리의 출력을 물리적으로 생성하고, 이를 사전에 계산된 서브쿼리 결과의 배치와 조인함으로써 원본 쿼리를 재작성한다.
• 모든 서브쿼리 호출을 일괄 처리하여 I/O 및 CPU 오버헤드를 줄이는 새로운 쿼리 실행 계획을 도입한다.
• 변환 엔진이 의미적 정확성을 유지하면서도 중첩 쿼리를 일괄 처리된 형태로 변환할 수 있는 재작성 규칙를 적용한다.
• 결과 세트 집계를 활용하여 각 외부 튜플에 대해 서브쿼리를 반복 평가하는 것을 방지한다.
• 최적화는 쿼리 계획 단계에서 수행되며, 사용자에게 투명하고 애플리케이션의 쿼리 재작성 없이도 적용 가능하다.

실험 결과

연구 질문

• RQ1 관련 서브쿼리를 일괄 처리하면 복잡한 SQL 쿼리의 실행 시간에 어떤 영향을 미치는가?
• RQ2 쿼리 재작성 기법을 통해 중첩 쿼리 실행 중 반복적인 데이터베이스 접근을 얼마나 줄일 수 있는가?
• RQ3 기존의 네스트드 루프 평가 방식에 비해 일괄 처리 실행 방식으로 기대할 수 있는 성능 향상은 어느 정도인가?
• RQ4 데이터 볼륨과 쿼리 복잡도가 증가함에 따라 제안된 방법의 확장성은 어떻게 되는가?
• RQ5 기존 SQL 워크로드에 쿼리 재작성 없이도 투명하게 최적화를 적용할 수 있는가?

주요 결과

• 일괄 처리 실행 방식은 관련 서브쿼리가 포함된 벤치마크 쿼리에서 실행 시간을 최대 50% 감소시켰다.
• 서브쿼리 실행 횟수는 외부 튜플당 한 번에서 단일 일괄 평가로 감소하여 I/O 오버헤드가 크게 줄었다.
• 다양한 데이터 크기와 선택도 수준에서도 최적화된 쿼리 계획이 일관된 성능 향상을 보였다.
• 의미적 정확성이 유지되었음을 확인하였으며, 원본 쿼리와 일괄 처리된 쿼리 간 결과 세트가 일치함을 입증하였다.
• 응용 프로그램 코드나 스키마의 변경 없이도 성능 향상을 달성하였다.
• 대규모 결과 세트와 높은 상관 수준에서도 효율성을 유지하며 확장성을 입증하였다.