[논문 리뷰] Practical linear-space Approximate Near Neighbors in high dimension

Georgia Avarikioti, Ioannis Z. Emiris외 2명|arXiv (Cornell University)|2016. 12. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 고차원 공간에서 근사 근접 이웃 검색을 위한 실용적인 선형 공간 데이터 구조인 Dolphinn을 제안한다. 점들을 log n 차원의 하밍 큐브로 무작위로 투영하고, 인접한 버킷을 쿼리함으로써, c > 1인 모든 경우, 특히 c → 1⁺일 때도 부분선형 쿼리 시간을 달성한다. 이는 FALCONN과 같은 최신 LSH 라이브러리에 비해 메모리 소비와 사전 처리 오버헤드를 크게 줄였다.

ABSTRACT

The $c$-approximate Near Neighbor problem in high dimensional spaces has been mainly addressed by Locality Sensitive Hashing (LSH), which offers polynomial dependence on the dimension, query time sublinear in the size of the dataset, and subquadratic space requirement. For practical applications, linear space is typically imperative. Most previous work in the linear space regime focuses on the case that $c$ exceeds $1$ by a constant term. In a recently accepted paper, optimal bounds have been achieved for any $c>1$ \cite{ALRW17}. Towards practicality, we present a new and simple data structure using linear space and sublinear query time for any $c>1$ including $c o 1^+$. Given an LSH family of functions for some metric space, we randomly project points to the Hamming cube of dimension $\log n$, where $n$ is the number of input points. The projected space contains strings which serve as keys for buckets containing the input points. The query algorithm simply projects the query point, then examines points which are assigned to the same or nearby vertices on the Hamming cube. We analyze in detail the query time for some standard LSH families. To illustrate our claim of practicality, we offer an open-source implementation in { t C++}, and report on several experiments in dimension up to 1000 and $n$ up to $10^6$. Our algorithm is one to two orders of magnitude faster than brute force search. Experiments confirm the sublinear dependence on $n$ and the linear dependence on the dimension. We have compared against state-of-the-art LSH-based library { t FALCONN}: our search is somewhat slower, but memory usage and preprocessing time are significantly smaller.

연구 동기 및 목표

• 고차원 유클리드 공간에서 선형 공간과 부분선형 쿼리 시간을 갖는 효율적인 근사 근접 이웃 검색을 해결하기 위해.
• c가 1에서 오름차순으로 수렴함에 따라 효율성을 유지하는 실용적이고 데이터에 독립적인 방법을 설계하기 위해.
• 특히 대규모 환경에서 FALCONN과 같은 기존의 LSH 기반 시스템에 비해 메모리 소비와 사전 처리 시간을 줄이기 위해.
• 브루트 포스보다 뛰어나고 차원과 데이터셋 크기에 따라 잘 스케일링되는 단순한 오픈소스 C++ 구현을 제공하기 위해.

제안 방법

• 이 방법은 고차원 점들을 log n 차원의 하밍 큐브로 무작위로 투영하여, 각 점을 그 투영된 이진 문자열에 따라 버킷에 할당한다.
• 쿼리 알고리즘은 쿼리 점을 동일한 하밍 큐브로 투영하고, 동일하거나 인접한 버킷에서 점들을 검색하여 근사 이웃을 찾는다.
• 유클리드 및 맨하탄 거리에 대한 표준 LSH 가족을 활용하며, 이러한 투영 하에서 쿼리 시간 복잡도를 분석한다.
• 데이터에 독립적인 접근 방식으로, 데이터셋 특화 최적화가 아닌 무작위 투영에 의존함으로써 실용성과 단순성을 향상시킨다.
• 쿼리 처리 중에 인접한 정점들을 효율적으로 탐색하기 위해 하밍 큐브 상에서 다중 프로브 전략을 사용한다.
• 모든 c > 1에 대해 최적의 공간 복잡도(선형 n)를 달성하면서도 부분선형 쿼리 시간을 유지하도록 설계되었다.

실험 결과

연구 질문

• RQ1 간단하고 데이터에 독립적인 방법이 고차원에서 근사 근접 이웃 검색에 대해 부분선형 쿼리 시간과 선형 공간을 달성할 수 있는가?
• RQ2 하밍 큐브로의 랜덤 프로젝션 성능이 속도, 메모리, 사전 처리 측면에서 최신 LSH 라이브러리와 비교해 어떻게 되는가?
• RQ3 c → 1⁺일 때, 특히 차원 d와 데이터셋 크기 n이 증가함에 따라 이 방법이 효율적으로 스케일링되는가?
• RQ4 FALCONN과 브루트 포스에 비해 실질적으로 쿼리 시간, 메모리 사용량, 사전 처리 시간 간의 상호 교환 관계는 어떠한가?

주요 결과

• 실험 결과, 10⁶개 점과 1000차원까지의 경우, 브루트 포스 검색 대비 Dolphinn가 1에서 2개의 지수만큼 빠른 성능을 보였다.
• 쿼리 시간은 n에 대해 부분선형으로, d에 대해 선형으로 증가하여 이론적 예측을 확인했다.
• 모든 테스트 설정에서 Dolphinn는 FALCONN 대비 2.1배 적은 메모리를 사용했으며, 사전 처리 시간은 6.5배 더 빠르게 처리했다.
• FALCONN는 검색 속도에서 1.15배 빠르게 작동했지만, Dolphinn는 메모리 소비가 훨씬 적었고, 정확도는 유사했다 (클라인 botte에서 98.8%, SIFT에서 고임계수 설정 시 100%).
• 모든 실험에서 최대 정확도를 유지했으며, 인근 버킷 검사의 임계값이 증가함에 따라 검색 시간이 다소 증가하는 데 그치지 않았다.
• 오픈소스 C++ 구현은 실용성을 확인했으며, 100만 개 점과 1024차원일 경우 빌드 시간이 1.7초 이내였다.