[논문 리뷰] LSH Ensemble: Internet-Scale Domain Search

Erkang Zhu, Fatemeh Nargesian외 2명|arXiv (Cornell University)|2016. 03. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 10

한 줄 요약

LSH Ensemble는 도메인 크기 분포가 비대칭적인 인터넷 규모의 도메인 검색을 위한 확장성 있고 고정밀도의 색인 구조로, 집합 포함 유사도(Jaccard 집합 포함 점수)를 사용하며, Minwise 해싱과 데이터 분할 기법을 활용하여 비대칭적인 도메인 크기 분포를 처리한다. 2억 6,200만 개의 도메인에서 3초 이내의 쿼리 응답 시간을 확보하며, 기준 LSH 대비 최대 15배 빠른 성능을 보이며 정밀도가 향상된다.

ABSTRACT

We study the problem of domain search where a domain is a set of distinct values from an unspecified universe. We use Jaccard set containment, defined as $|Q \cap X|/|Q|$, as the relevance measure of a domain $X$ to a query domain $Q$. Our choice of Jaccard set containment over Jaccard similarity makes our work particularly suitable for searching Open Data and data on the web, as Jaccard similarity is known to have poor performance over sets with large differences in their domain sizes. We demonstrate that the domains found in several real-life Open Data and web data repositories show a power-law distribution over their domain sizes. We present a new index structure, Locality Sensitive Hashing (LSH) Ensemble, that solves the domain search problem using set containment at Internet scale. Our index structure and search algorithm cope with the data volume and skew by means of data sketches (MinHash) and domain partitioning. Our index structure does not assume a prescribed set of values. We construct a cost model that describes the accuracy of LSH Ensemble with any given partitioning. This allows us to formulate the partitioning for LSH Ensemble as an optimization problem. We prove that there exists an optimal partitioning for any distribution. Furthermore, for datasets following a power-law distribution, as observed in Open Data and Web data corpora, we show that the optimal partitioning can be approximated using equi-depth, making it efficient to use in practice. We evaluate our algorithm using real data (Canadian Open Data and WDC Web Tables) containing up over 262 M domains. The experiments demonstrate that our index consistently outperforms other leading alternatives in accuracy and performance. The improvements are most dramatic for data with large skew in the domain sizes. Even at 262 M domains, our index sustains query performance with under 3 seconds response time.

연구 동기 및 목표

• 매우 비대칭적인 도메인 크기 분포를 가진 오픈 및 웹 데이터 저장소에서 확장성 있고 정확한 도메인 검색을 해결하기 위한 도전 과제를 다루는 것.
• Jaccard 유사도에 치우친 작은 도메인에 영향을 받지 않는 집합 포함 기반 관련성(Jaccard 집합 포함)을 지원하는 색인 구조를 설계하는 것.
• 고정된 어휘나 데이터 스키마를 가정하지 않고도 수억 개의 도메인에 대한 효율적이고 병렬적이며 메모리 효율적인 색인 및 쿼리 처리를 가능하게 하는 것.
• 정밀도를 극대화하고 false positive를 최소화하는 조건에서 데이터 분할을 최적화 문제로 공식화하는 것.
• 실세계 데이터셋(캐나다 오픈 데이터 및 WDC 웹 테이블)을 이용하여 인터넷 규모에서 방법을 평가하는 것.

제안 방법

• 이 방법은 국소 감도 해싱(Locality Sensitive Hashing, LSH)을 통한 효율적 유사도 추정을 가능하게 하는 Minwise 해싱을 사용하여 도메인의 압축 스케치를 생성한다.
• 크기에 기반해 도메인을 여러 그룹으로 분할하여 선택도를 높이고 false positive를 줄이는 LSH 앙상블 프레임워크를 도입한다.
• 분할 최적화를 위한 비용 모델을 활용하며, 모든 데이터 분포에 대해 최적의 분할이 존재한다는 것을 증명한다.
• 파워-법 분포를 가진 데이터에 대해서는 효과적이고 효율적으로 구현 가능한 등심도 분할 기법을 사용하여 최적의 분할을 근사한다.
• 색인은 여러 머신에 분산되어 있으며, 쿼리는 모든 분할에서 병렬로 처리되고 결과는 합집합을 통해 통합된다.
• 데이터 비대칭성에 대응하기 위해 false positive 비율을 그룹 간 균형 있게 유지하는 분할 전략을 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 비대칭적인 도메인 크기 분포 조건에서도 인터넷 규모에서 집합 포함 기반 도메인 검색을 지원할 수 있는 확장성 있는 색인 구조를 설계할 수 있는가?
• RQ2 Minwise 해싱과 LSH를 데이터 분할과 결합하여 도메인 검색의 정밀도를 향상시키고 false positive를 줄일 수 있는가?
• RQ3 false positive를 최소화하면서도 쿼리 효율성을 유지하기 위해 도메인을 어떻게 분할할 수 있는가?
• RQ4 파워-법 분포를 가진 데이터에 대해 등심도 분할이 최적의 분할을 효과적으로 근사할 수 있는가?
• RQ5 실세계 데이터셋(2억 6,000만 개 이상의 도메인 포함)에서 LSH 앙상블 프레임워크의 정확도와 응답 시간 성능은 어떠한가?

주요 결과

• LSH Ensemble는 2억 6,290만 개의 도메인 데이터셋에서도 3초 이내의 쿼리 응답 시간을 유지하여 뛰어난 확장성을 입증한다.
• 기준 MinHash LSH 대비 최대 15배 빠른 쿼리 성능 향상을 보이며, 특히 비대칭성이 높은 데이터에서 가장 두드러진 성과를 기록한다.
• 파워-법 분포를 가진 데이터셋의 경우 등심도 분할이 최적의 분할에 매우 가까이 근사하여 효율적이고 정확한 색인 처리를 가능하게 한다.
• 분할 크기의 표준편차가 5,556을 초과해도 LSH Ensemble의 정밀도가 안정적으로 유지되며, 중간 정도의 분할 편차에 대한 강건성을 보인다.
• 색인은 데이터 크기에 비례하여 선형적으로 확장되며, 5台의 머신에서 병렬 색인 처리 시 분할 수에 관계없이 일관된 성능을 유지한다.
• 분할에 의한 선택도 향상 덕분에 LSH Ensemble의 쿼리 비용은 도메인 수가 증가함에 따라 느리게 증가하며, 32개의 분할 조건에서도 여전히 낮은 수준을 유지한다.