[논문 리뷰] Reverse Nearest Neighbors Search in High Dimensions using Locality-Sensitive Hashing

David Arthur, Steve Oudot|arXiv (Cornell University)|2010. 11. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 3

한 줄 요약

이 논문은 고차원 공간에서 근접한 이웃의 역방향 검색(RNN)을 위한 증명 가능하고 효율적인 알고리즘을 제안한다. 지역감도 해싱(LSH)을 사용하여 RNN 쿼리를 한 번의 ε-NN 검색과 제어 가능한 수의 완전 검색 r-PLEB 쿼리로 환원하며, 출력 크기에 따라 변하는 복잡도를 갖는 부분선형 쿼리 시간을 달성한다. 이는 RNN 집합의 크기와 인스턴스의 난이도를 반영하는 조건 수치(condition number)에 의존한다.

ABSTRACT

We investigate the problem of finding reverse nearest neighbors efficiently. Although provably good solutions exist for this problem in low or fixed dimensions, to this date the methods proposed in high dimensions are mostly heuristic. We introduce a method that is both provably correct and efficient in all dimensions, based on a reduction of the problem to one instance of $\e$-nearest neighbor search plus a controlled number of instances of {\em exhaustive $r$-\pleb}, a variant of {\em Point Location among Equal Balls} where all the $r$-balls centered at the data points that contain the query point are sought for, not just one. The former problem has been extensively studied and elegantly solved in high dimensions using Locality-Sensitive Hashing (LSH) techniques. By contrast, the latter problem has a complexity that is still not fully understood. We revisit the analysis of the LSH scheme for exhaustive $r$-\pleb using a somewhat refined notion of locality-sensitive family of hash function, which brings out a meaningful output-sensitive term in the complexity of the problem. Our analysis, combined with a non-isometric lifting of the data, enables us to answer exhaustive $r$-\pleb queries (and down the road reverse nearest neighbors queries) efficiently. Along the way, we obtain a simple algorithm for answering exact nearest neighbor queries, whose complexity is parametrized by some {\em condition number} measuring the inherent difficulty of a given instance of the problem.

연구 동기 및 목표

• 고차원 공간에서 RNN 검색을 위한 이론적으로 탄탄하고 효율적인 해법의 부족을 해결하기 위해, 현재 대부분 히우리스틱인 기존 방법들과는 달리 이론적 기반을 제공하고자 한다.
• RNN 쿼리에서 고차원성의 고통(curse of dimensionality)을 극복하고자 하며, 이는 차원에 따라 지수적으로 증가할 수 있는 점들의 집합을 반환하는 데서 기인한다.
• 쿼리 시간을 Õ(n^ϱ + |RNN_P(q)|) 형태로 확보하면서 ϱ < 1을 만족시켜 부분선형 성능을 달성하고, 실제로 반환되는 출력 크기에 민감하게 반응하고자 한다.
• 완전 검색 r-PLEB에 대한 LSH 분석을 정교화하여, 출력에 민감한 복잡도를 고려하는 지역감도 가족의 개념을 도입하고자 한다.
• 쿼리 시간의 출력 민감도 지수 α를 낮추기 위해 비등장성 변환(non-isometric lifting) 기법을 개발하여, 어려운 인스턴스에 대해 효율성을 향상시키고자 한다.

제안 방법

• 이중색 RNN 쿼리를 한 번의 ε-NN 검색과 다항로그 수준의 완전 검색 r-PLEB 쿼리로 환원한다.
• 데이터를 비등장성으로 변환하여 완전 검색 r-PLEB 단계의 효율성을 향상시키고, 출력 민감도 지수 α 를 감소시킨다.
• 완전 검색 r-PLEB에 대한 LSH 가족의 정교한 분석을 수행하며, 인스턴스에 따라 달라지는 난이도를 반영하는 조건 수치를 도입한다.
• s-안정 분포(ℓ_s 노름에 대해)를 사용하여 LSH 체계를 정의하며, 누적분포함수 Φ 에서 유도된 매개변수 p₀, p₁, p₂ 를 사용한다.
• LSH 기반의 ε-NN 및 r-PLEB 쿼리를 통합하여 고확률로 RNN 쿼리를 해결하는 새로운 알고리즘(알고리즘 6)을 제안한다.
• 쿼리 시간의 경계를 유도하며, 이는 ϱ 와 α 를 매개변수로 하되, ϱ < 1 이고 α ≤ εϱ < ε 를 만족하며, ℓ₁ 및 ℓ₂ 노름에 대해 적용된다.

실험 결과

연구 질문

• RQ1 고차원에서 RNN 검색은 증명 가능하고 부분선형 쿼리 시간을 확보하면서 순수히 히우리스틱 접근을 피할 수 있는가?
• RQ2 완전 검색 r-PLEB 쿼리의 복잡도는 출력 민감도 측면에서 더 정밀하게 분석할 수 있는가?
• RQ3 쿼리 시간의 출력 민감도 지수 α 를 ε 이하로 낮출 수 있으며, 이를 수행할 경우 발생하는 상충 관계는 무엇인가?
• RQ4 비등장성 데이터 변환은 고차원 공간에서 RNN 및 r-PLEB 쿼리의 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 RNN 검색에 대해 거의 최적의 복잡도 경계를 달성할 수 있으며, 현재의 경계는 이론적 최적에 얼마나 가까운가?

주요 결과

• 제안된 방법은 기대 시간 복잡도로 Õ(1/ε · n^ϱ + n^α · |ε(2+ε)-RNN_B,Y(q)|) 에서 bichromatic RNN 쿼리를 해결하며, ℓ₁ 및 ℓ₂ 노름에 대해 ϱ < 1 이고 α ≤ εϱ < ε 를 만족한다.
• ℓ₁ 에서는 ϱ ≤ 1/(1 + min{ε², √ε}/4) < 1 이고, ℓ₂ 에서는 ϱ ≤ 1/(1 + ε²/(1+ε)) < 1 이며, 이는 부분선형 쿼리 시간을 보장한다.
• 공간 복잡도는 Õ(1/ε · n^{1+ϱ} + n²) 이며, 다항식이므로 실용적 사용에 적합하다.
• 이 방법은 조건 수치에 따라 복잡도가 달라지는 새로운 정확한 최근접 이웃 쿼리 알고리즘을 도입한다.
• 비등장성 변환은 α 를 임의로 작은 양의 상수로 낮출 수는 있으나, 이는 ϱ 를 1 쪽으로 증가시키는 비용을 수반한다.
• 분석 결과 출력 민감도 항 n^α 는 n^ε 이하로 제한되며, 이는 RNN 집합의 크기에 따라 잘 스케일링됨을 시사한다.