[논문 리뷰] A fast nearest neighbor search algorithm based on vector quantization

Sylvain Corlay|arXiv (Cornell University)|2011. 05. 25.

Data Management and Algorithms참고 문헌 14인용 수 3

한 줄 요약

이 논문은 벡터 양자화를 사용하여 데이터를 반복적으로 클러스터로 분할하는 새로운 빠른 최근접 이웃 검색 알고리즘을 제안한다. 이는 베르로이 다이어그램과 돌랑의 삼각분할을 활용하여 '양자화 트리'를 형성한다. '친구 베르로이 세포' 기법을 도입하여 불필요한 노드 탐색을 최소화하여 고차원(d > 5)에서 성능을 크게 향상시킨다. 이는 10M개의 쿼리에 대해 d=8일 때 최대 52초가 소요되는 대규모 데이터셋에서 Kd-트리와 주축 트리보다 뛰어난 성능을 보였다.

ABSTRACT

In this article, we propose a new fast nearest neighbor search algorithm, based on vector quantization. Like many other branch and bound search algorithms [1,10], a preprocessing recursively partitions the data set into disjointed subsets until the number of points in each part is small enough. In doing so, a search-tree data structure is built. This preliminary recursive data-set partition is based on the vector quantization of the empirical distribution of the initial data-set. Unlike previously cited methods, this kind of partitions does not a priori allow to eliminate several brother nodes in the search tree with a single test. To overcome this difficulty, we propose an algorithm to reduce the number of tested brother nodes to a minimal list that we call "friend Voronoi cells". The complete description of the method requires a deeper insight into the properties of Delaunay triangulations and Voronoi diagrams

연구 동기 및 목표

• 벡터 양자화를 통해 데이터 기하학적 특성을 활용하여 최근접 이웃 검색의 차원의 저주 문제를 해결하고자 한다.
• 고차원에서 트리 기반 검색 알고리즘의 비효율성을 줄이기 위해 불필요한 노드 탐색을 최소화하고자 한다.
• 기하학적 데이터 구조 최적화를 통해 최근접 이웃 쿼리 속도를 향상시키는 사전처리 방법을 개발하고자 한다.
• 탐색 중 후보 노드 수를 최소화하는 새로운 '친구 베르로이 세포' 알고리즘을 제안하고자 한다.
• 실제 및 합성 데이터셋에서 친구 노드 최적화 유무에 따른 양자화 트리의 성능을 평가하고자 한다.

제안 방법

• 알고리즘은 경험적 분포를 기반으로 벡터 양자화를 사용해 데이터를 반복적으로 분할하여 계층적 트리 구조를 형성한다.
• 양자화된 클러스터의 중심점을 기반으로 베르로이 다이어그램을 구성하여 최근접 이웃 할당을 위한 세포 경계를 정의한다.
• 사이트 간 기하학적 관계를 식별하고 '친구 베르로이 세포'를 계산하기 위해 돌랑 삼각분할을 사용한다. 이 세포는 최소 거리 이웃이 포함될 수 있다.
• 외접원과 시야 검사를 통해 유의미한 후보 노드만을 식별함으로써 형제 노드 탐색 수를 줄이는 '친구 노드' 알고리즘을 도입한다.
• 사전처리 단계에서는 돌랑 삼각분할과 의사 삽입을 수행하여 시야 및 이웃 관계를 계산하여 효율적인 쿼리 라우팅을 구현한다.
• 알고리즘은 베르로이 및 돌랑 구조를 위한 최적화된 기하 알고리즘 루틴을 포함한 C++로 구현되었다.

실험 결과

연구 질문

• RQ1 기존 트리 기반 방법과 비교해 볼 때, 벡터 양자화 기반의 반복적 분할이 최근접 이웃 검색 효율성을 향상시킬 수 있는가?
• RQ2 정확성을 훼손하지 않으면서 검색 트리에서 탐색되는 형제 노드 수를 어떻게 최소화할 수 있는가?
• RQ3 '친구 베르로이 세포' 기법이 고차원 공간에서 쿼리 시간에 미치는 영향은 무엇인가?
• RQ4 양자화 트리가 Kd-트리와 주축 트리보다 성능을 뛰어넘는 차원 범위는 어느 정도인가?
• RQ5 친구 세포 구조를 사전 처리하는 데 드는 계산 비용은 차원 수와 데이터셋 크기와 어떻게 상관관계가 있는가?

주요 결과

• d=8에서 5,000개 점으로 구성된 가우시안 데이터셋에 대해 1,000만 개의 쿼리에 대해 양자화 트리는 52.31초의 쿼리 시간을 기록했으며, 주축 트리(82.30초)와 Kd-트리(118.93초)를 모두 능가했다.
• d=8에서 균일 분포 데이터에 대해 양자화 트리는 32.62초가 소요되었고, 주축 트리는 47.53초, Kd-트리는 55.71초였다.
• d > 5인 차원에서 양자화 트리는 기준 방법 대비 쿼리 시간을 크게 단축시켜 뛰어난 성능을 보였다.
• d > 7인 고차원에서는 친구 노드 알고리즘이 추가 비용과 증가하는 친구 세포 목록으로 인해 경쟁적 이점이 없었다.
• 낮은 차원(d=2,3)에서는 양자화 트리가 주축 트리 및 Kd-트리와 유사한 성능을 보였으며, d=4에서는 중간 정도의 성능 향상을 보였다.
• 돌랑 삼각분할과 친구 세포 계산의 사전 처리 비용은 고차원에서 기하급수적으로 증가하여 d=7를 초과하는 범위에서는 친구 노드 최적화의 사용이 제한되었다.