[논문 리뷰] GB-KMV: An Augmented KMV Sketch for Approximate Containment Similarity Search

Yang Yang, Ying Zhang외 2명|arXiv (Cornell University)|2018. 09. 03.

Data Quality and Management참고 문헌 33인용 수 3

한 줄 요약

이 논문은 근거 데이터에 따라 조정되는 증강된 KMV 스케치인 GB-KMV를 제안하며, 새로운 스케칭 기법을 사용하여 포함 관계 유사도를 집합 교차 크기 추정으로 변환한다. GB-KMV는 최신 LSH 기반 방법들과 비교해 공간-정확도 및 시간-정확도 트레이드오프에서 뛰어난 성능을 보이며, 실제 데이터셋에서 유사한 F-1 정확도를 유지하면서도 100배 이상의 속도 향상을 보였다.

ABSTRACT

In this paper, we study the problem of approximate containment similarity search. Given two records Q and X, the containment similarity between Q and X with respect to Q is |Q intersect X|/ |Q|. Given a query record Q and a set of records S, the containment similarity search finds a set of records from S whose containment similarity regarding Q are not less than the given threshold. This problem has many important applications in commercial and scientific fields such as record matching and domain search. Existing solution relies on the asymmetric LSH method by transforming the containment similarity to well-studied Jaccard similarity. In this paper, we use a different framework by transforming the containment similarity to set intersection. We propose a novel augmented KMV sketch technique, namely GB-KMV, which is data-dependent and can achieve a good trade-off between the sketch size and the accuracy. We provide a set of theoretical analysis to underpin the proposed augmented KMV sketch technique, and show that it outperforms the state-of-the-art technique LSH-E in terms of estimation accuracy under practical assumption. Our comprehensive experiments on real-life datasets verify that GB-KMV is superior to LSH-E in terms of the space-accuracy trade-off, time-accuracy trade-off, and the sketch construction time. For instance, with similar estimation accuracy (F-1 score), GB-KMV is over 100 times faster than LSH-E on some real-life dataset.

연구 동기 및 목표

• 기존의 LSH 기반 방법이 비대칭 LSH 변환에 의존하고 편향된 데이터 분포에 민감한 점을 해결하기 위해.
• 기록 크기와 요소 빈도 분포를 활용하여 정확도와 효율성을 향상시키는 본질적으로 데이터 의존적인 스케칭 기법을 개발하기 위해.
• Jaccard 유사도 근사에 의존하지 않고 포함 관계 유사도를 집합 교차 크기 추정으로 변환하는 이론적으로 탄탄한 방법을 제공하기 위해.
• 최신 기법들인 LSH-E와 비교해 스케치 크기, 추정 정확도, 구축 시간 간의 더 나은 트레이드오프를 달성하기 위해.

제안 방법

• GB-KMV는 기록 크기와 요소 빈도에 기반한 데이터 의존적 임계값을 포함한 증강된 KMV 스케치를 도입하여 기수 및 교차 크기 추정을 향상시킨다.
• 데이터셋 내 집합 크기와 요소 빈도의 분포에 적응하는 전역 임계값을 사용한 수정된 KMV 스케치를 활용한다.
• 증강된 스케치의 정렬 성질을 활용해 집합 교차 크기를 추정함으로써 정확한 포함 관계 유사도 추정을 가능하게 한다.
• 특히 편향된 데이터 분포 하에서도 높은 정확도를 유지하면서 시간 오버헤드를 최소화하기 위해 스케치 구축 과정을 최적화한다.
• 농도 경계 및 추정 오차에 대한 이론적 분석을 제공하여 기존 KMV 및 LSH 기반 방법보다 향상된 성능을 입증한다.
• 비대칭 LSH에서 사용하는 데이터 팯팅이나 고정 크기 변환을 피함으로써 더 정확하고 효율적인 유사도 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 편향된 데이터 분포 하에서 LSH 기반 방법보다 성능이 뛰어난 데이터 의존적 스케칭 기법이 포함 관계 유사도 검색에서 성능을 높일 수 있는가?
• RQ2 Jaccard 유사도 변환에 의존하지 않고 KMV 스케치를 어떻게 증강하여 집합 교차 및 포함 관계 유사도를 더 정확하게 추정할 수 있는가?
• RQ3 제안된 GB-KMV 스케치의 추정 정확도 및 농도 경계 측면에서 이론적 성능 보장은 무엇인가?
• RQ4 GB-KMV는 LSH-E 및 기타 최신 기법들과 비교해 공간-정확도 및 시간-정확도 트레이드오프를 어느 정도 향상시키는가?

주요 결과

• 실생활 데이터셋에서 LSH-E보다 스케치 구축 및 쿼리 처리 속도가 100배 이상 빠르지만 동일한 F-1 스코어 정확도를 유지한다.
• 동일한 정확도 조건 하에서, GB-KMV는 다양한 실세계 데이터셋에서 LSH-E보다 시간-정확도 및 공간-정확도 트레이드오프 측면에서 뚜렷한 성능 향상을 보였다.
• 이론적 분석을 통해 GB-KMV가 표준 KMV 및 LSH 기반 접근보다 더 날카운 농도 경계와 향상된 추정 오차를 제공함을 확인하였다.
• 기록 크기와 요소 빈도가 극도로 편향된 데이터셋에서도 GB-KMV는 높은 안정성을 보였으며, LSH-E는 재현율 감소 및 거짓 양성 증가 문제를 겪었다.
• 데이터 의존적 설계 덕분에 GB-KMV는 다양한 데이터 분포에 적응할 수 있어 데이터 팁팅 없이도 더 정확한 포함 관계 유사도 추정이 가능해졌다.