[논문 리뷰] Optimal Las Vegas Locality Sensitive Data Structures

Thomas D. Ahle|arXiv (Cornell University)|2017. 04. 06.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 고차원 공간에서의 근사 근접 이웃 검색을 위한 최초의 라스베가스 국소 감지 데이터 구조를 제안하며, 상태 기반의 데이터 독립적 로컬리티 감지 해싱(LSH)과 동일한 쿼리 및 공간 복잡도를 달성하면서도 가짜 부정(false negative)가 없음을 보장한다. 이 방법은 브루트 포스, 텐서링, 완전 해싱, 스플리터 함수를 조합하여 결정론적 공간 분할을 구축함으로써 히프링, ℓ₁, ℓ₂, 자카르 유사도 검색에서 최적의 성능을 달성하며, 선형 이하의 쿼리 시간과 정확성 보장을 제공한다.

ABSTRACT

We show that approximate similarity (near neighbour) search can be solved in high dimensions with performance matching state of the art (data independent) Locality Sensitive Hashing, but with a guarantee of no false negatives. Specifically, we give two data structures for common problems. For $c$-approximate near neighbour in Hamming space we get query time $dn^{1/c+o(1)}$ and space $dn^{1+1/c+o(1)}$ matching that of \cite{indyk1998approximate} and answering a long standing open question from~\cite{indyk2000dimensionality} and~\cite{pagh2016locality} in the affirmative. By means of a new deterministic reduction from $\ell_1$ to Hamming we also solve $\ell_1$ and $\ell_2$ with query time $d^2n^{1/c+o(1)}$ and space $d^2 n^{1+1/c+o(1)}$. For $(s_1,s_2)$-approximate Jaccard similarity we get query time $dn^{ρ+o(1)}$ and space $dn^{1+ρ+o(1)}$, $ρ=\log\frac{1+s_1}{2s_1}\big/\log\frac{1+s_2}{2s_2}$, when sets have equal size, matching the performance of~\cite{tobias2016}. The algorithms are based on space partitions, as with classic LSH, but we construct these using a combination of brute force, tensoring, perfect hashing and splitter functions à la~\cite{naor1995splitters}. We also show a new dimensionality reduction lemma with 1-sided error.

연구 동기 및 목표

• 고차원 유사도 검색 분야에서 오랫동안 미해결된 열린 문제를 해결하는 것: 라스베가스 데이터 구조가 몬테카를로 LSH의 성능을 따라잡으면서도 가짜 부정이 없음을 보장할 수 있는가?
• 히프링 공간, ℓ₁, ℓ₂, 자카르 유사도를 위한 근사 근접 이웃 데이터 구조의 결정론적, 라스베가스 버전을 구축하여 쿼리 및 공간 복잡도를 최고 수준의 LSH 방법과 동일하게 유지하는 것.
• 1방향 오차를 가진 새로운 차원 축소 기법을 개발하여 ℓ₁ 및 ℓ₂를 히프링 공간으로 효율적으로 변환함으로써 가짜 부정 없이 유사도 보존을 달성하는 것.
• 주요 구조의 부산물로 큰 투란 체계와 커버링 코드를 명시적이고 구성 가능한 방법으로 제공하는 것.

제안 방법

• 나오르 등(1995)의 영감을 얻어 브루트 포스, 텐서링, 완전 해싱, 스플리터 함수의 조합을 사용하여 결정론적이고 정확한 분할을 보장하는 공간 분할을 구축하는 것.
• ℓ₁에서 히프링 공간으로의 새로운 결정론적 감소를 사용하여 히프링 기반 라스베가스 데이터 구조를 ℓ₁ 및 ℓ₂ 거리 측정법으로 확장하는 것.
• 1방향 오차를 가진 새로운 차원 축소 레지멘을 적용하여 ℓ₁ 및 ℓ₂ 벡터를 히프링 공간으로 매핑하면서도 유사도 보장을 유지하는 것.
• 서로 다른 쿼리 시간과 공간 사용량을 LSH 기준과 동일하게 유지할 수 있도록 로컬리티 감지 필터(LSF) 프레임워크를 활용하여 데이터 구조를 설계하는 것.
• 구성 과정에서 가짜 양성의 수를 제한하기 위해 이항 계수와 반데르몽드 합성의 수정 분석을 도입하여 정확성과 효율성을 보장하는 것.
• 조합적 매개변수를 정수로 만들기 위해 정수 조정(예: r을 가장 가까운 제곱수로 반올림, 나누어떨어지게 k 조정)을 사용하여 점근적 성능에 크게 영향을 주지 않으면서도 정수 성능을 확보하는 것.

실험 결과

연구 질문

• RQ1 고차원 공간에서의 근사 근접 이웃 검색을 위한 라스베가스 데이터 구조는 상태 기반 LSH의 쿼리 및 공간 복잡도를 충족할 수 있는가?
• RQ2 몬테카를로 랜덤성에 의존하지 않고도 ℓ₁ 및 ℓ₂ 유사도 검색에서 최적의 성능을 달성할 수 있는 라스베가스 보장이 가능한가?
• RQ3 유사도를 보존하면서도 효율적인 라스베가스 검색을 가능하게 하는 ℓ₁에서 히프링 공간으로의 결정론적 감소를 구성할 수 있는가?
• RQ4 라스베가스 LSH 구조에서 지수 항의 오버헤드(예: (log n)^{-1/4})를 줄이거나 제거할 수 있는가?
• RQ5 기존의 LSH 알고리즘을 최적의 점근적 성능과 정확성을 유지하면서 랜덤성을 제거하는 일반적인 기법이 존재하는가?

주요 결과

• 히프링 공간에서 c-근사 근접 이웃 검색의 경우, 논문은 쿼리 시간 dn^{1/c + o(1)}과 공간 dn^{1 + 1/c + o(1)}을 달성하며, 인디크와 모트와니(1998)의 성능을 그대로 따라잡고, 인디크(2000a) 및 파그(2016)에서 제기한 열린 문제를 해결한다.
• ℓ₁ 및 ℓ₂ 유사도의 경우, 이 방법은 쿼리 시간 d²n^{1/c + o(1)}과 공간 d²n^{1 + 1/c + o(1)}을 달성하여 최고 수준의 LSH 기준과 일치하며, 1방향 오차를 가진 차원 축소를 가능하게 한다.
• 같은 크기의 집합에서 (s₁,s₂)-근사 자카르 유사도의 경우, 데이터 구조는 쿼리 시간 dn^{ρ + o(1)}과 공간 dn^{1 + ρ + o(1)}을 달성하며, 여기서 ρ = log((1+s₁)/(2s₁)) / log((1+s₂)/(2s₂))로, 페그와 크리스티아니(2017)의 성능을 그대로 따라잡는다.
• 이 구조는 ℓ₁에서 히프링 공간으로의 새로운 결정론적 감소를 도입하여, ℓ₁ 및 ℓ₂ 거리 측정법에 대해 히프링 기반 라스베가스 구조를 활용할 수 있도록 한다.
• 논문은 주요 구조의 부산물로 큰 투란 체계와 쌍에 대한 커버링 코드를 명시적이고 구성 가능한 방법으로 제공한다.
• 이 방법은 새로운 1방향 오차를 가진 차원 축소 레지멘을 도입하여 ℓ₁에서 히프링 공간으로의 효율적이고 정확한 변환을 가능하게 하며, 가짜 부정 없이 수행된다.