[논문 리뷰] Perfect and Maximum Randomness in Stratified Sampling over Joins

Niranjan Kamat, Arnab Nandi|arXiv (Cornell University)|2016. 01. 19.

Data Stream Mining Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 조인에 대한 샘플링을 위한 통합된 상관계수 기반 접근법을 제시하며, 상관 샘플링의 무작위성을 극대화하고 비상관 샘플링을 향상시켜 샘플 팽창을 줄이는 기법을 제안한다. 비례 배정을 활용한 최적의 샘플링 전략을 도입하여 상관계수와 실행 오버헤드를 최소화함으로써, 중간 데이터 크기와 실행 시간을 크게 줄이며 근사로 균일한 무작위성을 달성한다.

ABSTRACT

Supporting sampling in the presence of joins is an important problem in data analysis, but is inherently challenging due to the need to avoid correlation between output tuples. Current solutions provide either correlated or non-correlated samples. Sampling might not always be feasible in the non-correlated sampling-based approaches -- the sample size or intermediate data size might be exceedingly large. On the other hand, a correlated sample may not be representative of the join. This paper presents a \emph{unified} strategy towards join sampling, while considering sample correlation every step of the way. We provide two key contributions. First, in the case where a \emph{correlated} sample is \emph{acceptable}, we provide techniques, for all join types, to sample base relations so that their join is \emph{as random as possible}. Second, in the case where a correlated sample is \emph{not acceptable}, we provide enhancements to the state-of-the-art algorithms to reduce their execution time and intermediate data size.

연구 동기 및 목표

• 조인 샘플링에서 샘플 상관계수로 인한 편향된 결과와 높은 오류율을 해결하기 위해.
• 비상관 샘플링이 처리할 수 없는 수준으로 증가하는 샘플 크기(샘플 팽창)를 최적화된 샘플링 전략으로 줄이기 위해.
• 상관 및 비상관 샘플링을 모두 지원하는 통합 프레임워크를 제공하여 효율성과 무작위성을 향상시키기 위해.
• 기존 비상관 샘플링 알고리즘의 성능을 향상시켜 중간 데이터 크기와 실행 시간을 최소화하기 위해.
• 가능한 조인 샘플 수를 극대화하여, 상관 샘플링 환경에서도 비상관 무작위성에 가까운 결과를 도출하기 위해.

제안 방법

• 조인의 무작위성을 가능한 출력 샘플 수로 모델링하여 이를 극대화하는 상관계수 인식 샘플링 전략을 제안한다.
• 각 조인 그룹의 샘플 수 대비 총 튜플 수 비율이 균형을 이루도록 관계 간에 비례 배정을 적용하여 상관계수를 최소화한다.
• 샘플링 제약 조건 하에서 가능한 샘플 수의 로그를 극대화하는 최적의 샘플 배정을 도출하기 위해 라그랑주 승수법를 적용한다.
• 등가조인과 테타조인(예: ≤ 비교)의 경우, 샘플 수 계산을 위한 조합 수식을 사용하여 샘플 배정의 닫힌 형식 해를 유도한다.
• 모든 계층에 걸쳐 샘플 분포를 균형 잡히게 하기 위해 전역 스케일링 인자 A를 구하기 위한 이진 탐색 기반 방법을 도입한다.
• 최적화된 샘플링 계획과 조인 순서 고려를 통해 기존 비상관 샘플링 알고리즘의 중간 데이터 크기와 실행 시간을 줄인다.

실험 결과

연구 질문

• RQ1 등가조인과 테타조인에서 비상관 샘플링이 필요 없이 상관 샘플링의 무작위성을 극대화할 수 있는 방법은 무엇인가?
• RQ2 조인 연산에서 타당한 샘플 크기를 유지하면서 상관계수를 최소화하는 샘플링 할당 전략은 무엇인가?
• RQ3 샘플 크기가 관계 크기를 초과하는 비상관 조인 샘플링에서 샘플 팽창을 줄일 수 있는 방법은 무엇인가?
• RQ4 조인 그룹 간 비례 할당이 근사로 균일한 무작위성과 향상된 샘플링 효율성을 이끌 수 있는가?
• RQ5 다중 관계에 걸쳐 샘플을 어떻게 분배하면 가능한 조인 결과의 수를 극대화할 수 있는가?

주요 결과

• 제안된 방법은 가능한 조인 결과 수를 극대화함으로써 상관 샘플링에서 근사 최대의 무작위성을 달성하여, 표준 상관 샘플링 기법보다 샘플링 오차를 감소시킨다.
• 등가조인의 경우 최적의 샘플 배정은 각 조인 그룹의 크기에 비례하며, 모든 조인 구성 요소에 걸쳐 균형 잡힌 샘플링을 보장한다.
• 비상관 샘플링에서 중간 데이터 크기와 실행 시간을 고카디널리티 조인에서 몇 개의 지수 단위 이상으로 줄일 수 있다.
• 전역 스케일링 인자 A를 구하기 위한 이진 탐색은 모든 계층에 걸쳐 최적의 샘플 배정을 효율적으로 계산할 수 있도록 한다.
• 이론적 분석을 통해 조합 최적화를 통한 무작위성 극대화는 상관계수를 크게 감소시키며, 비상관 샘플링 수준에 가까운 성능을 달성함을 보여준다.
• ≤ 비교를 포함한 테타조인의 경우, 계층 위치에 따라 수정된 할당 규칙을 도출하며, 할당 공식의 지수는 계층 인덱스 j에 따라 달라진다.