[논문 리뷰] It's all a matter of degree: Using degree information to optimize multiway joins

Manas Joglekar, Christopher Ré|arXiv (Cornell University)|2015. 08. 05.

Advanced Database Systems and Queries참고 문헌 6인용 수 4

한 줄 요약

이 논문은 다중방향 조인을 최적화하기 위해 관계를 속성 값의 차수에 따라 분할하는 전처리 기법인 degree-uniformization을 소개한다. 차수 정보를 활용함으로써 저자들은 AGM보다 최대 95배 더 낫게 출력 크기의 엄밀한 상한을 확보하고, 지수가 향상된 비제곱시간 조인 알고리즘, 그리고 MapReduce에서 최적의 통신 복잡도를 달성한다. 이 모든 것은 선형 시간의 차수 통계만을 사용하여 달성된다.

ABSTRACT

We optimize multiway equijoins on relational tables using degree information. We give a new bound that uses degree information to more tightly bound the maximum output size of a query. On real data, our bound on the number of triangles in a social network can be up to $95$ times tighter than existing worst case bounds. We show that using only a constant amount of degree information, we are able to obtain join algorithms with a running time that has a smaller exponent than existing algorithms--{\em for any database instance}. We also show that this degree information can be obtained in nearly linear time, which yields asymptotically faster algorithms in the serial setting and lower communication algorithms in the MapReduce setting. In the serial setting, the data complexity of join processing can be expressed as a function $O(\IN^x + \OUT)$ in terms of input size $\IN$ and output size $\OUT$ in which $x$ depends on the query. An upper bound for $x$ is given by fractional hypertreewidth. We are interested in situations in which we can get algorithms for which $x$ is strictly smaller than the fractional hypertreewidth. We say that a join can be processed in subquadratic time if $x < 2$. Building on the AYZ algorithm for processing cycle joins in quadratic time, for a restricted class of joins which we call $1$-series-parallel graphs, we obtain a complete decision procedure for identifying subquadratic solvability (subject to the $3$-SUM problem requiring quadratic time). Our $3$-SUM based quadratic lower bound is tight, making it the only known tight bound for joins that does not require any assumption about the matrix multiplication exponent $ω$. We also give a MapReduce algorithm that meets our improved communication bound and handles essentially optimal parallelism.

연구 동기 및 목표

• 기존의 최악의 경우 최적 조인 알고리즘에서의 격차를 메우기 위해 차수 통계를 통합하여 실행 시간과 통신 복잡도를 향상시키기.
• 특히 사회망과 같이 데이터가 비균형적인 경우에 적합한, 다중방향 동치조인의 최대 출력 크기에 대한 더 엄밀한 상한을 차수 정보를 사용해 도출하기.
• 데이터 복잡도의 지수를 향상시킨 조인 알고리즘 설계하기. 이는 특정 유형의 쿼리에서 비제곱시간을 달성한다.
• 차수 인식 기반 로드 밸런싱을 사용하여 MapReduce 모델에서 최적의 병렬성과 통신 효율성 확보하기.
• 3-SUM 추측 기반의 하한을 이용해, 행렬 곱셈 지수 가정에 의존하지 않는 첫 번째 정확한 하한을 제공하는 결론 도출 절차 제시하기.

제안 방법

• degree-uniformization 도입: 매개변수 $ L $ 를 사용해 각 관계를 차수 기반 버킷으로 분할하여, 속성 값의 차수에 따라 튜플을 그룹화한다.
• 원래의 다중방향 조인을 대응하는 분할에 대해 더 작은 독립적인 조인으로 분할함으로써, 비균형을 줄이고 분석의 엄밀함을 높인다.
• 차수 정보를 사용해 새로운 출력 크기 상한을 유도함. 이는 특히 속성의 차수가 낮거나 크게 변동하는 경우 AGM 상한보다 훨씬 더 엄밀하다.
• degree-uniformized 분할을 활용해, 분수형 하이퍼트리너프 기반 상한보다 데이터 복잡도 지수가 더 작은 순차적 조인 알고리즘 설계하기.
• 차수 인식 해싱과 분할을 사용해 로드 밸런싱을 수행함으로써, 최적의 통신 복잡도를 달성하는 MapReduce 알고리즘 설계하기.
• 1-시리즈-평행 조인의 비제곱시간 해법 가능성을 3-SUM 기반의 엄밀한 하한으로 확립함. 이는 $ heta $-추측이나 행렬 곱셈 지수 가정에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 기존의 최악의 경우 상한(예: AGM)보다 차수 정보를 활용해 다중방향 조인의 출력 크기 상한을 더 엄밀하게 유도할 수 있는가?
• RQ2 차수 인식 전처리가 분수형 하이퍼트리너프 기반 알고리즘보다 더 낮은 데이터 복잡도 지수를 가진 조인 알고리즘을 가능하게 하는가?
• RQ3 전체 데이터 샘플링 없이도, 차수 통계만으로 다중방향 조인에 대해 MapReduce에서 최적의 통신 복잡도를 달성할 수 있는가?
• RQ4 다중방향 조인의 비제곱시간 해법 가능성을 정확히 어디까지 정의할 수 있으며, 이는 행렬 곱셈에 대한 가정 없이도 특징지을 수 있는가?
• RQ5 degree-uniformization이 거의 선형 전처리 시간을 유지하면서도 순차적 및 병렬 성능을 모두 향상시킬 수 있는가?

주요 결과

• 제안된 차수 기반 상한은 사회망에서 삼각형 수의 추정치를 AGM 상한 대비 최대 95배까지 감소시키며, 희박한 네트워크에서도 더욱 엄밀한 상한을 제공한다.
• 실제 사회망(LiveJournal 등)에서 삼각형 조인의 경우 신규 상한은 AGM 대비 95배 더 엄밀하며, 최대 차수 ≤ 5000인 Facebook의 경우 최소 450배 더 엄밀하다.
• 3-SUM 추측 하에 차수 정보를 활용해 분수형 하이퍼트리너프 기반 상한보다 데이터 복잡도 지수를 낮춤으로써, 1-시리즈-평행 조인에 대해 비제곱시간 조인을 달성한다.
• 조인 처리에 대한 3-SUM 기반 하한은 정확하며, 행렬 곱셈 지수 $ heta $ 에 대한 가정에 의존하지 않아 이 분야에서 처음으로 이러한 정확한 하한을 제공한다.
• MapReduce 알고리즘은 차수 인식 기반 로드 밸런싱과 분할을 사용해 최적의 통신 복잡도를 달성하고, 거의 최적의 병렬성을 지원한다.
• 차수 정보를 수집하는 전처리 단계는 거의 선형 시간에 수행되어, 순차적 및 병렬 조인 파이프라인에 효율적으로 통합될 수 있다.