[논문 리뷰] Beyond Equi-joins: Ranking, Enumeration and Factorization

Nikolaos Tziavelis, Wolfgang Gatterbauer외 1명|arXiv (Cornell University)|2021. 01. 28.

Game Theory and Voting Systems참고 문헌 65인용 수 4

한 줄 요약

이 논문은 부등식 조건을 포함한 θ-조인에 대해 강력한 이론적 보장을 갖춘 최초의 순위 매겨진 열거 알고리즘을 제안한다. 새로운 O(n polylog n) 크기의 인수 분해 표현 방식(TLFG)을 사용하여 상위-k 결과를 효율적이고 점진적으로 검색할 수 있도록 한다. 이는 순환하지 않는 전체 조인의 경우, 최적에 다가서는 O(n polylog n + k log k) 시간 복잡도를 달성하며, 출력 크기가 n^ℓ일 경우에도 성능이 뛰어나고, 실제 적용에서 최신 데이터베이스 관리 시스템들보다 수개의 지수만큼 빠르게 작동한다.

ABSTRACT

We study theta-joins in general and join predicates with conjunctions and disjunctions of inequalities in particular, focusing on ranked enumeration where the answers are returned incrementally in an order dictated by a given ranking function. Our approach achieves strong time and space complexity properties: with $n$ denoting the number of tuples in the database, we guarantee for acyclic full join queries with inequality conditions that for every value of $k$, the $k$ top-ranked answers are returned in $\mathcal{O}(n \operatorname{polylog} n + k \log k)$ time. This is within a polylogarithmic factor of $\mathcal{O}(n + k \log k)$, i.e., the best known complexity for equi-joins, and even of $\mathcal{O}(n+k)$, i.e., the time it takes to look at the input and return $k$ answers in any order. Our guarantees extend to join queries with selections and many types of projections (namely those called "free-connex" queries and those that use bag semantics). Remarkably, they hold even when the number of join results is $n^\ell$ for a join of $\ell$ relations. The key ingredient is a novel $\mathcal{O}(n \operatorname{polylog} n)$-size factorized representation of the query output, which is constructed on-the-fly for a given query and database. In addition to providing the first non-trivial theoretical guarantees beyond equi-joins, we show in an experimental study that our ranked-enumeration approach is also memory-efficient and fast in practice, beating the running time of state-of-the-art database systems by orders of magnitude.

연구 동기 및 목표

• 부등식 조건이 포함된 θ-조인에서 순위 매겨진 열거에 대한 이론적 시간 및 공간 복잡도 보장이 부족한 문제를 해결하기 위해.
• 중간 또는 최종 출력 크기가 크더라도(예: ℓ개의 관계에서 n^ℓ), 상위-k 결과를 최소 지연으로 점진적으로 반환할 수 있는 알고리즘을 설계하기 위해.
• 등식 조인을 넘어서 복잡한 조건, 예를 들어 부등식의 논리합 및 논리곱을 포함한 조건에서도 순위 매겨진 열거를 지원할 수 있도록 인수 분해 데이터베이스 표현을 확장하기 위해.
• 최악의 데이터 분포나 큰 출력 크기 상황에서도 이론적 하한선인 O(n + k)에 근접한 성능을 달성하기 위해.
• 실제 및 합성 데이터 세트를 대상으로 광범위한 실험을 통해 실용적 효율성과 확장성을 입증하기 위해.

제안 방법

• 쿼리 결과를 공유 범위 및 분할 전략을 사용해 압축적으로 표현하는 새로운 인수 분해 표현 방식인 튜플-리스트 인수 그래프(TLFG)를 도입한다.
• 이중 또는 다중 분할 전략을 사용하여 조인 공간을 재귀적으로 분해함으로써 효율적인 열거 및 순위 매기기를 가능하게 한다.
• 부등식 조건에서의 전치성 특성을 활용하기 위해 공유 범위 추상화를 사용하여 중복을 줄이고 인수 분해 효율성을 향상시킨다.
• 사전 처리 후 각 결과가 O(log k) 시간 내에 생성되도록 우선순위 큐 기반의 열거 전략을 적용한다.
• 주어진 쿼리와 데이터베이스에 대해 TLFG 표현을 실시간으로 구성함으로써 O(n polylog n) 비례의 공간 효율성을 확보한다.
• 선택 및 다양한 프로젝션(예: 자유 연결 및 백 세미antics)을 지원하기 위해 인수 분해 및 열거 로직을 적절히 조정한다.

실험 결과

연구 질문

• RQ1 부등식 조건이 포함된 순환하지 않는 전체 θ-조인에 대해 순위 매겨진 열거에서 O(n polylog n + k log k)에 근접한 최적 시간 복잡도를 달성할 수 있는가?
• RQ2 복잡한 θ-조인에 대해 효율적인 순위 매겨진 열거를 지원하면서도 O(n)에 비해 다항로그 요소 수준의 공간 복잡도를 유지할 수 있는 인수 분해 표현을 설계할 수 있는가?
• RQ3 실제 워크로드에서 쿼리 크기, 조인 선택도, 밴드-조인 범위가 증가함에 따라 이 방법의 확장성은 어떻게 되는가?
• RQ4 전체 조인 결과를 먼저 생성한 후 상위-k 필터링을 적용하는 전통적인 DBMS보다 이 방법이 성능 면에서 뛰어나게 작동할 수 있는가?
• RQ5 등식 조인을 초월해 일반적인 θ-조인으로 인수 분해 표현을 확장할 수 있는 이론적 및 실용적 한계는 무엇인가?

주요 결과

• 제안된 방법은 부등식 조건이 포함된 순환하지 않는 전체 θ-조인에 대해 O(n polylog n + k log k) 시간 복잡도를 달성하며, 이는 최적의 O(n + k) 하한선에 다항로그 요소 수준으로 근접한다.
• TLFG 인수 분해 표현은 실시간으로 구성되며 O(n polylog n)의 공간을 사용하여, ℓ개의 관계에서 전체 출력 크기가 n^ℓ일 경우에도 효율적인 액세스를 가능하게 한다.
• 실험 결과, 상위-상용 및 오픈소스 DBMS(예: PostgreSQL)보다 런타임 면에서 수개의 지수만큼 빠르게 작동하며, 특히 k가 작은 경우 두드러진 성능 향상을 보였다.
• RedditTitles 및 OceaniaBirds 데이터 세트에서의 실험 결과, 다양한 쿼리 크기, 밴드-조인 범위, 도메인 크기에서 안정적인 성능을 보였으며, 연속된 결과 간 지연이 매우 낮았다.
• 이 방법은 선택 및 자유 연결 프로젝션을 포함한 다양한 쿼리 유형을 지원하며, 데이터 분포가 불균형한 상황에서도 강력한 이론적 보장을 유지한다.
• TLFG 추상화는 기존의 범위 트리 및 분할 방법을 일반화하고 이를 초월하여, 특히 논리합 및 복잡한 부등식 조건을 다룰 때 뛰어난 성능을 발휘한다.