[논문 리뷰] Similarity Join and Self-Join Size Estimation in a Streaming Environment.

Davood Rafiei, Fan Deng|arXiv (Cornell University)|2018. 06. 08.

Data Quality and Management인용 수 1

한 줄 요약

이 논문은 유량 데이터에서 기록 간 유사도가 1에서 d 사이일 때, 유사도 자체 조인 및 조인 크기를 추정하기 위한 단일 패assing, 부분선형 공간 알고리즘을 제안한다. 동일한 공간 제약 조건 하에서 기존 방법보다 추정 오차가 훨씬 낮으며, 특히 다양한 유사도 임계값 범위에서 최대 10배까지 낮아진다.

ABSTRACT

We study the problem of similarity self-join and similarity join size estimation in a streaming setting where the goal is to estimate, in one scan of the input and with sublinear space in the input size, the number of record pairs that have a similarity within a given threshold. The problem has many applications in data cleaning and query plan generation, where the cost of a similarity join may be estimated before actually doing the join. On unary input where two records either match or don't match, the problem becomes join and self-join size estimation for which one-pass algorithms are readily available. Our work addresses the problem for d-ary input, for d >= 1, where the degree of similarity can vary from 1 to d. We show that our proposed algorithm gives an accurate estimate and scales well with the input size. We provide error bounds and time and space costs, and conduct an extensive experimental evaluation of our algorithm, comparing its estimation accuracy to a few competitors, including some multi-pass algorithms. Our results show that given the same space, the proposed algorithm has an order of magnitude less error for a large range of similarity thresholds.

연구 동기 및 목표

• 제한된 메모리 환경에서 스트리밍 환경에서의 유사도 조인 및 자체 조인 크기 추정 과제를 해결하기 위해.
• 입력 크기에 따라 효율적으로 확장되면서도 높은 정확도를 유지하는 단일 패assing 알고리즘을 제공하기 위해.
• 실제 구현을 위한 오차 한계 및 공간/시간 복잡도 분석을 제공하기 위해.
• 제약된 공간 조건 하에서 기존의 다중 패assing 및 단일 패assing 알고리즘보다 추정 정확도에서 뛰어난 성능을 내기 위해.

제안 방법

• 알고리즘은 데이터를 한 번만 스캔하며, 유사도가 임계값을 초과하는 기록 쌍의 수를 추정하기 위해 압축된 요약 구조를 유지한다.
• d-진 유사도 값(여기서 d ≥ 1)을 고려한 확률적 샘플링 및 스케치 기법을 사용한다.
• 기록이 유사한 쌍을 형성할 잠재력을 기반으로 가중치를 매기는 유사도 민감한 샘플링 전략을 적용한다.
• 다양한 유사도 임계값에서 추정의 이론적 오차 한계를 유도하기 위해 농도 한계를 적용한다.
• 스트림에서 관측된 유사도 분포에 따라 샘플링 빈도를 동적으로 조정한다.
• 입력 크기 대비 부분선형 공간 사용을 보장하기 위해 공간 효율적인 데이터 구조를 통합한다.

실험 결과

연구 질문

• RQ1 제약된 메모리 조건 하에서 스트리밍 환경에서 부분선형 공간을 사용하면서도 단일 패assing 알고리즘이 정확한 유사도 자체 조인 크기 추정을 달성할 수 있는가?
• RQ2 다양한 유사도 임계값에서 제안된 방법의 추정 오차가 다중 패assing 및 단일 패assing 경쟁자 대비 어떻게 비교되는가?
• RQ3 다양한 입력 분포에서 제안된 알고리즘에 대해 어떤 이론적 오차 한계를 설정할 수 있는가?
• RQ4 입력 크기가 증가함에 따라 알고리즘이 어떻게 확장되는가?
• RQ5 제안된 접근법에서 공간 사용과 추정 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제시된 알고리즘은 동일한 메인 메모리 양을 가질 경우 기존 방법보다 최대 10배 낮은 추정 오차를 달성한다.
• 알고리즘은 넓은 범위의 유사도 임계값에서 높은 정확도를 유지하며, 단일 패assing 및 다중 패assing 경쟁자 모두를 능가한다.
• 이론적 오차 한계가 현실적인 스트리밍 가정 하에서도 성립하는 것으로 입증되었다.
• 알고리즘은 입력 크기에 따라 잘 확장되며, 낮은 공간 및 시간 복잡도를 유지한다.
• 실험적 평가를 통해 다양한 합성 및 실세계 데이터 세트에서 일관되게 오차가 감소하는 것으로 확인되었다.
• 기존 방법이 성능이 저하되는 고유사도 분산이 큰 시나리오에서 특히 제안된 방법의 정확도가 뛰어나다.