[논문 리뷰] DB-LSH: Locality-Sensitive Hashing with Query-based Dynamic Bucketing

Yao Tian, Xi Zhao외 1명|arXiv (Cornell University)|2022. 07. 16.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

DB-LSH는 다차원 색인을 사용하는 쿼리 기반 동적 버킷화를 통해 고차원 데이터셋에서 효율성과 정확도를 모두 향상시키는 새로운 국소 민감성 해싱 기법을 제안한다. 고정된 해시 테이블에 의존하지 않고 쿼리 시간에 동적으로 초입방형 버킷을 구성함으로써 해시 경계 문제를 피하고, 이론적으로 ρ* ≤ 1/c^α의 경계를 확보하여 기존 방법보다 성능이 뛰어나다.

ABSTRACT

Among many solutions to the high-dimensional approximate nearest neighbor (ANN) search problem, locality sensitive hashing (LSH) is known for its sub-linear query time and robust theoretical guarantee on query accuracy. Traditional LSH methods can generate a small number of candidates quickly from hash tables but suffer from large index sizes and hash boundary problems. Recent studies to address these issues often incur extra overhead to identify eligible candidates or remove false positives, making query time no longer sub-linear. To address this dilemma, in this paper we propose a novel LSH scheme called DB-LSH which supports efficient ANN search for large high-dimensional datasets. It organizes the projected spaces with multi-dimensional indexes rather than using fixed-width hash buckets. Our approach can significantly reduce the space cost as by avoiding the need to maintain many hash tables for different bucket sizes. During the query phase of DB-LSH, a small number of high-quality candidates can be generated efficiently by dynamically constructing query-based hypercubic buckets with the required widths through index-based window queries. For a dataset of $n$ $d$-dimensional points with approximation ratio $c$, our rigorous theoretical analysis shows that DB-LSH achieves a smaller query cost ${O(n^{ρ^*} d\log n)}$, where ${ρ^*}$ is bounded by ${1/c^α}$ while the bound is ${1/c}$ in the existing work. An extensive range of experiments on real-world data demonstrates the superiority of DB-LSH over state-of-the-art methods on both efficiency and accuracy.

연구 동기 및 목표

• 고차원 근사 최근접 이웃(ANN) 검색에서 색인 크기와 쿼리 효율성 간의 상충 관계를 해결하기 위해.
• 고정 너비 버킷을 사용하는 전통적인 LSH 방법에서 발생하는 해시 경계 문제와 가짜 양성 문제를 극복하기 위해.
• 후보 필터링이나 충돌 수 계산에 추가 오버헤드 없이도 하위선형 쿼리 시간을 유지하기 위해.
• 다중 고정 해시 테이블을 단일 다차원 색인 구조로 대체함으로써 색인 크기를 줄이기 위해.
• 기존의 1/c 경계보다 더 날카운 ρ* ≤ 1/c^α 경계를 제공함으로써 쿼리 비용에 대해 더 강력한 이론적 보장을 제공하기 위해.

제안 방법

• DB-LSH는 해싱과 버킷화를 분리하여, 고정 너비 해시 버킷 대신 투영된 점들을 다차원 색인에 저장한다.
• 쿼리 시, 쿼리 점의 위치에 기반하여 인덱스 기반 창 쿼리를 사용해 동적으로 초입방형 버킷을 구성하고 후보를 검색한다.
• 버킷 너비는 쿼리당 적응적으로 결정되어 높은 품질의 후보 집합을 확보하면서도 가짜 양성 수를 최소화한다.
• ρ* ≤ 1/c^α인 이론적 프레임워크를 활용하여 기존 LSH 방법의 ρ ≤ 1/c 경계를 향상시킨다.
• 충돌 수 계산을 피하기 위해 공간 색인 기반 기법을 활용함으로써 하위선형 쿼리 복잡도를 유지한다.
• 성공 확률과 근사 비율에 대해 강력한 이론적 보장을 제공하며, c-ANN 및 (r,c)-NN 쿼리 모두를 지원한다.

실험 결과

연구 질문

• RQ1 쿼리 컨텍스트 기반 동적 버킷화가 고차원 ANN 검색에서 색인 크기 감소와 쿼리 효율성 향상에 기여할 수 있는가?
• RQ2 고정 너머 해시 테이블을 제거함으로써 해시 경계 문제와 가짜 양성 수가 감소하는가?
• RQ3 기존 LSH 방법보다 더 날카운 ρ* 경계를 확보하면서도 하위선형 쿼리 비용을 유지할 수 있는가?
• RQ4 실제 데이터셋에서 DB-LSH는 쿼리 시간, 재현율, 색인 크기 측면에서 최신 LSH 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 다차원 색인 기반 동적 버킷화가 정적 또는 충돌 수 계산 기반 LSH 변종보다 더 나은 정확도-효율성 트레이드오프를 달성할 수 있는가?

주요 결과

• DB-LSH는 이론적으로 O(n^ρ*d log n)의 쿼리 비용을 달성하며, 여기서 ρ* ≤ 1/c^α로 기존 연구의 1/c 경계를 크게 향상시킨다.
• Gist, TinyImages80M, SIFT10M와 같은 실세계 데이터셋에서, 동일한 재현율을 확보한 경우 DB-LSH는 두 번째로 우수한 성능을 보인 방법 대비 쿼리 시간을 10%에서 70%까지 줄였다.
• 데이터셋 크기가 변화함에 따라도 DB-LSH는 안정적인 재현율과 전반적인 비율을 유지하며, n이 증가함에 따라 정확도가著히 떨어지지 않는다.
• DB-LSH의 색인 크기는 O(n^{1+ρ*}d log n)이며, 동적 버킷화 덕분에 전통적인 (K,L)-색인 방법보다 크게 작다.
• 재현율-시간 곡선과 전반적인 비율-시간 곡선에서 DB-LSH는 모든 경쟁자보다 더 낮은 쿼리 시간에 더 높은 정확도를 달성한다.
• 모든 테스트된 k 값에서 DB-LSH는 최고의 경쟁자 대비 재현율을 5%~10% 향상시키며, 더 빠른 쿼리 시간을 유지한다.