[논문 리뷰] Query shredding: Efficient relational evaluation of queries over nested multisets (extended version)

James Cheney, Sam Lindley외 1명|arXiv (Cornell University)|2014. 04. 28.

Advanced Database Systems and Queries참고 문헌 33인용 수 15

한 줄 요약

이 논문은 중첩된 멀티셋 쿼리를 고정된 수의 평탄한 SQL 쿼리로 효율적으로 번역하면서도 백(다중집합)의 의미를 유지하는 새로운 쿼리 분해 기법을 제안한다. 정규화, 인덱스 기반 분해, 지연된 OLAP 연산을 활용하여, 중간 크기의 데이터베이스에서 이전 방법들인 루프 리프팅보다 성능 벤치마크에서 뛰어난 성능을 보인다.

ABSTRACT

Nested relational query languages have been explored extensively, and underlie industrial language-integrated query systems such as Microsoft's LINQ. However, relational databases do not natively support nested collections in query results. This can lead to major performance problems: if programmers write queries that yield nested results, then such systems typically either fail or generate a large number of queries. We present a new approach to query shredding, which converts a query returning nested data to a fixed number of SQL queries. Our approach, in contrast to prior work, handles multiset semantics, and generates an idiomatic SQL:1999 query directly from a normal form for nested queries. We provide a detailed description of our translation and present experiments showing that it offers comparable or better performance than a recent alternative approach on a range of examples.

연구 동기 및 목표

• 중첩 쿼리로 인해 쿼리 폭풍이나 비효율적인 메모리 기반 평가가 발생하는 언어 통합 쿼리 시스템(LINQ 및 Ferry 등)에서 성능 저하 문제를 해결하기 위해.
• 멀티셋(백) 기반 중첩 쿼리에 대해 효율적이고 관계형 평가를 가능하게 하여, 이전 시스템이 자주 잘못 처리하거나 비효율적인 경우가 있는 문제를 해결하기 위해.
• 복잡한 쿼리 최적화기 후처리에 의존하지 않고도, 표준 SQL:1999 쿼리로 번역 가능한, 자연스럽고 최적화 가능한 번역 파이프라인을 개발하기 위해.
• 분해 과정 동안 멀티셋 의미를 유지하여, 이전 방법에서 관찰된 결과 크기의 제곱형 증가를 방지하기 위해.

제안 방법

• 방법은 중첩 쿼리를 고계수 정규형으로 정규화하여 고계수 기능을 제거하고, 모듈화된 번역을 가능하게 한다.
• 분해 단계에서는 정규화된 쿼리를 평탄한 SQL 쿼리 패키지로 분해하며, 외래 키를 통해 중첩 레벨을 연결하는 인덱스 정보를 첨부한다.
• let 삽입 단계에서는 ROW_NUMBER 및 WITH 절을 사용하여 SQL 호환 인덱싱을 도입하여, 추상적 인덱스를 구체적이고 평탄한 관계형 구조로 표현한다.
• 최종 번역 단계에서는 분해된 패키지를 표준 SQL:1999로 변환하여 레코드를 평탄하게 하고, 행 번호 매기기 연산을 쿼리 계획에 직접 통합한다.
• 이 방법은 고급 OLAP 기능(예: ROW_NUMBER)의 사용을 최종 SQL 생성 단계로 연기하여, 호환성과 최적화 가능성 향상을 높인다.
• 시스템은 구현되어 있으며, 표준 SQL 최적화기를 추가로 사용하지 않고도 루프 리프팅과의 비교를 위해 합성 벤치마크를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 중첩된 멀티셋 쿼리는 고정된 수의 평탄한 SQL 쿼리로 효율적으로 번역될 수 있으며, 백 의미를 유지할 수 있는가?
• RQ2 정규화 기반 접근법을 통해 중첩 쿼리에서 평탄한 관계형 형태로의 모듈화되고 조합 가능한 번역이 어떻게 가능해지는가?
• RQ3 최종 SQL 단계까지 OLAP 연산(예: ROW_NUMBER)을 연기함으로써 성능 향상과 표준 SQL 최적화기와의 호환성 향상이 이루어지는가?
• RQ4 제안된 분해 방법은 루프 리프팅 대비 쿼리 실행 성능과 결과 크기 측면에서 어떻게 비교되는가?
• RQ5 이 방법은 LINQ 또는 Ferry와 같은 다른 언어 통합 쿼리 시스템, 또는 복합 객체 쿼리 언어로 일반화될 수 있는가?

주요 결과

• 제안된 분해 방법은 최대 500MB 크기의 데이터베이스에서 합성 벤치마크 쿼리에 대해 루프 리프팅과 비교해 유사하거나 더 뛰어난 성능을 달성한다.
• 이 방법은 멀티셋 의미를 유지하여, 이전 방법에서 관찰된 중첩된 백의 합집합 처리 시 결과 크기의 제곱형 증가를 방지한다.
• OLAP 연산을 최종 SQL 번역 단계까지 연기함으로써 더 예측 가능하고 최적화 가능한 SQL 계획을 생성하여, 복잡한 후처리 최적화기 의존도를 감소시킨다.
• 루프 리프팅 방식을 사용하는 Ferry와 달리, 추가적인 쿼리 재작성 도구(예: Pathfinder) 없이도 효율적인 실행을 지원한다.
• 이 방법은 목록 기반 의미로의 확장도 가능하지만, 현재 구현은 SQL의 기본 동작과 일치하는 백 의미에 집중되어 있다.
• 이 방법은 기존의 SQL:1999 기능과 호환되며, LINQ나 Ferry와 같은 시스템에 최소한의 변경으로 통합 가능하다.