[논문 리뷰] Join Size Bounds using Lp-Norms on Degree Sequences

Mahmoud Abo Khamis, Vasileios Nakos외 2명|arXiv (Cornell University)|2023. 06. 24.

Data Management and Algorithms인용 수 4

한 줄 요약

이 논문은 도표의 차수 시퀀스에 대한 ℓₚ-노름을 사용하여 조인 쿼리 출력 크기의 새로운 상한을 제안하며, 정보 이론과 선형 프로그래밍을 활용하여 기존의 상한을 크게 개선한다. 특히 비순환 쿼리에 대해 매우 강력한 개선을 이룬다. 이 방법은 이전의 AGM 및 PANDA 상한을 일반화하여, 사전에 계산된 조인 속성의 ℓₚ-노름을 사용하여 더 날카운, 증명 가능하게 최적의 추정치를 제공하며, 이에 해당하는 쿼리 평가 알고리즘과 함께 제안되며, 쿼리 크기에 대해 지수 시간 내에 계산 가능하다.

ABSTRACT

Estimating the output size of a query is a fundamental yet longstanding problem in database query processing. Traditional cardinality estimators used by database systems can routinely underestimate the true output size by orders of magnitude, which leads to significant system performance penalty. Recently, upper bounds have been proposed that are based on information inequalities and incorporate sizes and max-degrees from input relations, yet they their main benefit is limited to cyclic queries, because they degenerate to rather trivial formulas on acyclic queries. We introduce a significant extension of the upper bounds, by incorporating $\ell_p$-norms of the degree sequences of join attributes. Our bounds are significantly lower than previously known bounds, even when applied to acyclic queries. These bounds are also based on information theory, they come with a matching query evaluation algorithm, are computable in exponential time in the query size, and are provably tight when all degrees are "simple".

연구 동기 및 목표

• 기존 추정기들이 출력 크기를 심각하게 과소평가하는 지속적인 문제인 데이터베이스 쿼리 최적화에서의 카디널리티 추정 문제를 해결한다.
• AGM 및 PANDA와 같은 기존 이론적 상한의 한계를 극복하며, 이는 비순환 쿼리에서 자명한 공식으로 악화되는 경향이 있다.
• 순환 및 비순환 쿼리 양쪽에 대해 동일하게 적용 가능한 더 날카운, 비자명한 출력 크기 상한을 개발한다.
• 카디널리티와 최대 차수 정보를 일반화하는 새로운 통계 클래스인 도표 속성의 차수 시퀀스에 대한 ℓₚ-노름을 제안한다.
• 정보 이론에 기반한 증명 가능하게 날카운 상한을 제공하며, 이에 해당하는 쿼리 평가 알고리즘을 제시하며, 쿼리 크기에 대해 지수 시간 내에 계산 가능하다.

제안 방법

• 조인 속성의 차수 시퀀스에 대한 ℓₚ-노름을 사용하여 조인 출력 크기의 상한을 수립한다. 여기서 차수 시퀀스는 속성 빈도의 정렬된 목록이다.
• 정보 부등식과 선형 프로그래밍을 사용하여 최적의 상한을 유도하며, 이는 엔트로피 제약 조건을 만족하는 최소값이 된다.
• 이전의 상한을 일반화한다: ℓ₁-노름은 관계 크기에 대응하고, ℓ∞-노름은 최대 차수에 대응하며, 중간의 ℓₚ-노름(예: ℓ₂, ℓ₃)은 더 날카운 상한을 제공한다.
• log-통계 bᵢ를 ℓₚ-노름의 스케일링된 로그로 정의하여, 이를 엔트로피 유사 제약 조건으로 변환한다.
• 속성 집합의 엔트로피 값을 표현하기 위해 닫힌 집합의 격자 구조를 구성하고, 다형체트 엔트로피 함수로부터 log-통계를 유도한다.
• 다형체트 도메인 위에서 선형 프로그래밍을 적용하여 상한을 적용하며, 모든 차수가 '단순'한 경우에 상한이 날카로워진다.

실험 결과

연구 질문

• RQ1 차수 시퀀스의 ℓₚ-노름을 사용하여 기존 방법보다 더 날카운 조인 쿼리 출력 크기 상한을 도출할 수 있는가?
• RQ2 특히 비순환 쿼리에서 ℓₚ-노름 기반 상한이 AGM 및 PANDA 상한과 비교해 얼마나 날카운가?
• RQ3 제안된 상한은 증명 가능하게 최적이며, 사전에 계산된 통계를 사용하는 실용적 환경에서 계산 가능한가?
• RQ4 중간의 ℓₚ-노름(예: ℓ₂, ℓ₃)을 사용하면 ℓ₁ 및 ℓ∞에만 의존하는 것보다 유의미하게 더 나은 카디널리티 추정치를 얻을 수 있는가?
• RQ5 제안된 상한과 속성 집합의 엔트로피 사이의 관계는 무엇이며, 이는 어떻게 더 날카운 추정을 가능하게 하는가?

주요 결과

• 제안된 ℓₚ-노름 기반 상한은 기존 상한보다 엄격히 날카롭다. 비순환 쿼리에서도 AGM 및 PANDA 상한이 자명한 공식으로 악화되는 상황에서도 마찬가지로 날카롭다.
• 삼각형 쿼리의 경우, ℓ₂- 및 ℓ₃-노름을 사용하여 |Q| ≤ (||deg_R(Y|X)||₂² · ||deg_S(Z|Y)||₂² · ||deg_T(X|Z)||₂²)^{1/3}와 같은 새로운 상한을 도출할 수 있으며, 이는 PANDA 상한보다 유의미하게 작을 수 있다.
• 모든 차수가 '단순'한 경우에 상한은 증명 가능하게 날카롭다. 이는 특정 규칙성 조건을 만족하는 차수 시퀀스일 때 성립한다.
• 이 방법은 AGM 및 PANDA 상한을 일반화한다: ℓ₁-노름은 AGM 상한을, ℓ∞-노름은 PANDA 상한을 제공하며, 중간의 ℓₚ-노름은 더 날카운 상한의 연속적인 가족을 제공한다.
• 실험적 평가 결과, 다양한 ℓₚ-노름(예: ℓ₁, ℓ₂, ℓ₃, ℓ∞)에서의 최소 상한이 데이터 분포에 따라 가장 날카운 추정치를 제공함을 확인하였다.
• 모든 다형체트에서 상한이 날카로운 것은 아니지만, 실제 로그 크기와 상한의 비율은 최대 35/36 이하이므로 강력한 점근적 날카로움을 보여준다.