[논문 리뷰] PASS-JOIN: A Partition-based Method for Similarity Joins

Guoliang Li, Dong Deng외 2명|arXiv (Cornell University)|2011. 11. 30.

Data Quality and ManagementDecision Sciences참고 문헌 10인용 수 22

한 줄 요약

PASS-JOIN은 편집 거리 제약 조건 하에서 효율적인 문자열 유사도 조인을 위한 파artition 기반 방법으로, 세그먼트 기반 부분문자열 선택과 역색인을 사용하여 후보 쌍의 수를 최소화한다. 적응형 부분문자열 선택 및 새로운 절단 및 검증 기법을 적용함으로써 짧은 문자열과 긴 문자열 모두에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

As an essential operation in data cleaning, the similarity join has attracted considerable attention from the database community. In this paper, we study string similarity joins with edit-distance constraints, which find similar string pairs from two large sets of strings whose edit distance is within a given threshold. Existing algorithms are efficient either for short strings or for long strings, and there is no algorithm that can efficiently and adaptively support both short strings and long strings. To address this problem, we propose a partition-based method called Pass-Join. Pass-Join partitions a string into a set of segments and creates inverted indices for the segments. Then for each string, Pass-Join selects some of its substrings and uses the selected substrings to find candidate pairs using the inverted indices. We devise efficient techniques to select the substrings and prove that our method can minimize the number of selected substrings. We develop novel pruning techniques to efficiently verify the candidate pairs. Experimental results show that our algorithms are efficient for both short strings and long strings, and outperform state-of-the-art methods on real datasets.

연구 동기 및 목표

• 짧고 긴 문자열 모두에서 통합적이고 효율적인 문자열 유사도 조인 방법의 부족을 해결하기 위해.
• 유효한 쌍이 누락되지 않도록 하면서도, 유사도 조인에서 생성되는 후보 쌍의 수를 줄이기 위해.
• 짧은 문자열(예: 이름)과 긴 문자열(예: 제목, 초록) 모두에서 효율적으로 작동하는 적응형 기법을 개발하기 위해.
• 길이 인식 및 접두사 공유 최적화 기법을 통해 검증 효율을 향상시키기 위해.

제안 방법

• 유사한 문자열이 적어도 하나의 세그먼트를 공유하도록 보장하는 파artition 체계를 제안한다.
• 세그먼트 기반으로 구축된 역색인을 사용하여 후보로 매칭될 수 있는 문자열을 효율적으로 탐색한다.
• 위치 인식 및 다중 매칭 인식 기반의 부분문자열 선택 전략을 적용하여 선택된 부분문자열의 수를 최소화한다.
• 공통 접두사 계산을 재사용하여 편집 거리 검사를 빠르게 하는 확장 기반 검증 방법을 적용한다.
• 검증 과정에서 절단 및 조기 종료 기법을 적용하여 불필요한 계산을 줄인다.
• 정렬된 순서로 문자열을 처리하여 인덱스를 점진적으로 구축하고 효율적인 후보 검색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 방법이 짧고 긴 문자열 모두에서 효율적으로 유사도 조인을 처리할 수 있는가?
• RQ2 편집 거리 제약 조건 하에서 모든 유효한 쌍을 보장하기 위해 필요한 최소 부분문자열 수는 얼마인가?
• RQ3 재계산 최소화로 후보 쌍을 효율적으로 검증할 수 있는가?
• RQ4 절단 및 조기 종료 기법이 유사도 조인의 검증 비용을 크게 줄일 수 있는가?

주요 결과

• PASS-JOIN은 데이터셋 크기에 대해 거의 선형적 확장성을 보이며, Author 데이터셋(τ=4)에서 400K, 500K, 600K 문자열에 대해 각각 360초, 530초, 700초의 경과 시간을 기록한다.
• Author 데이터셋에서 PASS-JOIN은 인덱스 공간으로 단지 1.92MB를 사용하며, ED-Join(25.34MB)과 Trie-Join(16.32MB)보다 크게 적다.
• 실제 데이터셋에서 PASS-JOIN은 ED-Join과 Trie-Join을 능가하며, 짧고 긴 문자열 워크로드 모두에서 뛰어난 성능을 보였다.
• 다중 매칭 인식 기반 부분문자열 선택 방법은 필요한 부분문자열 수를 최소화하며, 후보 생성 측면에서 이론적으로 최적임을 입증했다.
• 공통 접두사 계산을 공유하는 확장 기반 검증은 특히 긴 문자열에서 검증 시간을 줄였다.
• 실험 결과 PASS-JOIN의 적응성과 효율성이 확인되어 다양한 문자열 길이를 지원하는 시스템에 적합함을 입증했다.