[논문 리뷰] Aggregations over Generalized Hypertree Decompositions

Manas Joglekar, Rohan Puttagunta외 1명|arXiv (Cornell University)|2015. 08. 30.

Data Management and Algorithms참고 문헌 29인용 수 14

한 줄 요약

이 논문은 일반화된 초수형 분해(GHDs)를 사용하여 애너테이션된 관계에서 집합-조인 쿼리를 최적화하기 위한 프레임워크를 제안한다. 표준 조인 알고리즘을 다중 집합 연산자 처리에 확장하여, 집합 순서에 대한 간단한 등가성 및 호환성 테스트를 제공함으로써 최적의 쿼리 처리를 가능하게 하며, 향상된 런타임 경계와 효율적인 MapReduce 구현을 달성하여, 전쌍 최단경로와 같은 문제에서 거의 최적의 성능을 달성한다.

ABSTRACT

We study a class of aggregate-join queries with multiple aggregation operators evaluated over annotated relations. We show that straightforward extensions of standard multiway join algorithms and generalized hypertree decompositions (GHDs) provide best-known runtime guarantees. In contrast, prior work uses bespoke algorithms and data structures and does not match these guarantees. Our extensions to the standard techniques are a pair of simple tests that (1) determine if two orderings of aggregation operators are equivalent and (2) determine if a GHD is compatible with a given ordering. These tests provide a means to find an optimal GHD that, when provided to standard join algorithms, will correctly answer a given aggregate-join query. The second class of our contributions is a pair of complete characterizations of (1) the set of orderings equivalent to a given ordering and (2) the set of GHDs compatible with some equivalent ordering. We show by example that previous approaches are incomplete. The key technical consequence of our characterizations is a decomposition of a compatible GHD into a set of (smaller) {\em unconstrained} GHDs, i.e. into a set of GHDs of sub-queries without aggregations. Since this decomposition is comprised of unconstrained GHDs, we are able to connect to the wide literature on GHDs for join query processing, thereby obtaining improved runtime bounds, MapReduce variants, and an efficient method to find approximately optimal GHDs.

연구 동기 및 목표

• 다중 집합 연산자를 포함한 집합-조인 쿼리에 대한 일반적이고 확장 가능한 최적화 기법의 부족을 해결하기 위해.
• 기존의 특수 목적 알고리즘의 한계를 극복하기 위해 등가 집합 순서와 호환 가능한 GHDs의 완전한 특성화를 제공하기 위해.
• 호환 가능한 GHDs를 하위 쿼리로 분해함으로써 표준 GHD 기법을 집합 쿼리에 적용할 수 있도록 하기 위해.
• 모든-쌍 최단경로 및 전이 폐쇄와 같은 복잡한 쿼리에 대해 향상된 런타임 경계와 효율적인 병렬(MapReduce) 알고리즘을 유도하기 위해.
• Ajar 쿼리를 통해 고전적 쿼리 처리, 선형 대수학, 확률적 추론을 하나의 프레임워크로 통합하기 위해.

제안 방법

• 연산자의 교환법칙과 속성의 독립성에 기반하여, 두 집합 순서가 의미적으로 동일한지 판단할 수 있는 단순한 테스트를 도입한다.
• 주어진 일반화된 초수형 분해(GHD)가 특정 집합 순서를 지원하는지 확인하기 위한 호환성 테스트를 개발한다.
• 호환 가능한 GHD를 집합 연산이 없는 하위 쿼리의 제약이 없는 더 작은 GHD들로 분해하는 방법을 제안함으로써, 기존 GHD 이론의 재사용을 가능하게 한다.
• AGM 경계와 DBP-폭을 적용하여 분수 초수형 폭 경계를 도출하고, 이로 인해 MapReduce에서 런타임과 통신 복잡도가 향상된다.
• 병렬 실행에서 폭과 통신 비용을 최소화하기 위해 체인 및 트리 구조에 대해 재귀적 GHD 구축을 적용한다.
• GHD의 구조적 대칭성을 활용하여 순차적 실행을 최적화하고, 각 레벨에서 한 번의 백만만을 방문하며 동일한 서브트리에 결과를 복제한다.

실험 결과

연구 질문

• RQ1 다른 집합 연산자의 순서가 동일한 쿼리 결과를 생성하는 조건은 무엇인가?
• RQ2 주어진 집합 순서와 호환 가능한 일반화된 초수형 분해(GHDs)의 집합을 어떻게 형식적으로 특성화할 수 있는가?
• RQ3 표준 GHD 기법을 다중 집합 연산자를 포함한 쿼리에 확장할 수 있으며, 만약 가능하다면 어떤 조건에서 가능할까?
• RQ4 모든-쌍 최단경로와 같은 기본 문제에 이러한 기법을 적용했을 때의 런타임 및 통신 복잡도 경계는 무엇인가?
• RQ5 호환 가능한 GHDs를 제약이 없는 하위 쿼리로 분해하는 것이 최적화 및 병렬 실행을 향상시키는 데 어떻게 활용될 수 있는가?

주요 결과

• 논문은 등가 집합 순서의 완전하고 단순한 특성화를 제공하며, 등가성이 성립하는 조건은 연산자가 교환 가능하거나 쿼리 본문에서 속성이 독립일 경우임을 보여준다.
• 등가 순서와 호환 가능한 GHDs의 완전한 특성화를 확립하여 최적의 분해를 체계적으로 탐색할 수 있도록 한다.
• 호환 가능한 GHDs를 제약이 없는 하위 쿼리로 분해함으로써 기존 GHD 이론의 적용이 가능해지고, 이로 인해 향상된 런타임 보장을 얻을 수 있다.
• 모든-쌍 최단경로 문제에 대해, Õ(V³)의 총 통신 비용과 O(log²V)라운드를 가지는 MapReduce 알고리즘을 달성하여 전용 알고리즘과 다항로그 요소 범위 내에서 거의 최적의 성능을 달성한다.
• 체인 GHD와 O(k* log k*)라운드를 사용할 경우 총 통신 비용이 Õ(EV)로 감소하여 이 문제 유형에서 거의 최적임을 입증한다.
• 대칭성 최적화를 통해 동일한 Õ(V³) 복잡도를 가지는 순차 알고리즘을 달성하였으며, GHD에서 각 레벨당 한 번의 백만만을 방문한다.