[논문 리뷰] EFANNA : An Extremely Fast Approximate Nearest Neighbor Search Algorithm Based on kNN Graph

Cong Fu, Deng Cai|arXiv (Cornell University)|2016. 09. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 30인용 수 65

한 줄 요약

EFANNA는 k-NN 그래프 구축과 ANN 검색을 향상시키기 위해 NN-확장에서 우수한 초기화를 위한 계층적 구조를 활용하는 새로운 근사 최근접 이웃 검색 알고리즘입니다. 이 알고리즘은 상태 기반 성능를 달성하여 FLANN의 KD-트리 대비 최대 30배 빠르며, SIFT1M 및 GIST1M에서 인덱스 크기가 유사한 조건에서 IEH-ITQ와 GNNS를 능가합니다.

ABSTRACT

Approximate nearest neighbor (ANN) search is a fundamental problem in many areas of data mining, machine learning and computer vision. The performance of traditional hierarchical structure (tree) based methods decreases as the dimensionality of data grows, while hashing based methods usually lack efficiency in practice. Recently, the graph based methods have drawn considerable attention. The main idea is that \emph{a neighbor of a neighbor is also likely to be a neighbor}, which we refer as \emph{NN-expansion}. These methods construct a $k$-nearest neighbor ($k$NN) graph offline. And at online search stage, these methods find candidate neighbors of a query point in some way (\eg, random selection), and then check the neighbors of these candidate neighbors for closer ones iteratively. Despite some promising results, there are mainly two problems with these approaches: 1) These approaches tend to converge to local optima. 2) Constructing a $k$NN graph is time consuming. We find that these two problems can be nicely solved when we provide a good initialization for NN-expansion. In this paper, we propose EFANNA, an extremely fast approximate nearest neighbor search algorithm based on $k$NN Graph. Efanna nicely combines the advantages of hierarchical structure based methods and nearest-neighbor-graph based methods. Extensive experiments have shown that EFANNA outperforms the state-of-art algorithms both on approximate nearest neighbor search and approximate nearest neighbor graph construction. To the best of our knowledge, EFANNA is the fastest algorithm so far both on approximate nearest neighbor graph construction and approximate nearest neighbor search. A library EFANNA based on this research is released on Github.

연구 동기 및 목표

• 기존 그래프 기반 ANN 방법의 한계를 해결합니다. 이러한 방법들은 국소 최적점에 수렴하기 어려우며, k-NN 그래프 구축 과정에서 높은 계산 비용을 유발합니다.
• NN-확장의 성능을 향상시키기 위해 수렴성과 재현율을 향상시키는 더 나은 초기화 전략을 제공합니다.
• 대규모 고차원 데이터에 적합한 빠르고 확장 가능한 근사 k-NN 그래프 구축 방법을 개발합니다.
• 인덱스 크기와 계산 오버헤드를 최소화하면서도 높은 검색 효율성과 높은 재현율을 동시에 달성합니다.

제안 방법

• NN-확장에 대해 고품질의 초기 후보를 생성하기 위해 계층적 구조(예: 잘라낸 KD-트리)를 사용하여 수렴성 향상과 국소 최적점 감소를 달성합니다.
• 분할 정복 전략을 통해 초기 근사 k-NN 그래프를 구축한 후, 정확도 향상을 위해 NN-descent를 사용해 정밀화합니다.
• NN-확장 원리를 활용합니다: 이웃의 이웃은 일반적으로 이웃일 가능성이 높습니다. 이를 통해 반복적인 검색 정밀도 향상이 가능합니다.
• 수많은 트리 수와 k-NN 그래프 폭(k) 간의 균형을 조정하여 인덱스 크기와 성능를 최적화합니다. 경험적 분석을 통해 그래프 폭이 트리 수를 늘리는 것보다 더 큰 성능 향상을 제공하는 것으로 나타났습니다.
• 검색 단계에 계층적 초기화를 통합하여 계산 비용을 증가시키지 않으면서도 수렴 속도를 가속화하고 재현율을 향상시킵니다.
• 재현성과 실용적 구현을 가능하게 하기 위해 GitHub에 오픈소스 라이브러리를 배포합니다.

실험 결과

연구 질문

• RQ1 계층적 구조는 그래프 기반 ANN 검색에서 NN-확장에 대해 무작위 또는 해싱 기반 방법보다 더 나은 초기화를 제공할 수 있는가?
• RQ2 k-NN 그래프 폭(k)을 늘리는 것과 트리 수를 늘리는 것 중 어느 것이 EFANNA의 성능과 재현율에 더 큰 영향을 미치는가?
• RQ3 NN-descent와 함께 분할 정복 전략을 사용하면 대규모에서 빠르고 정확한 근사 k-NN 그래프 구축이 가능한가?
• RQ4 IEH-ITQ, GNNS, FLANN의 KD-트리와 같은 최신 기술과 비교할 때 EFANNA는 속도, 재현율, 인덱스 크기 측면에서 어떤가?
• RQ5 k-NN 그래프가 넓어질수록 더 나은 초기화의 성능 향상 효과가 감소하는가? 즉, 포화점이 존재하는가?

주요 결과

• SIFT1M 및 GIST1M에서 EFANNA는 인덱스 크기가 유사한 조건에서 FLANN의 KD-트리 대비 최대 30배 빠른 성능을 보이며, 뛰어난 검색 효율성을 입증합니다.
• SIFT1M에서 EFANNA는 낮은 재현율 수준에서 IEH-ITQ와 GNNS(kGraph)를 능가하지만, 높은 재현율(예: 95%)에 이르면 성능 격차가 좁아지며, 초기화의 이점이 넓어진 그래프에서 감소하는 경향을 보입니다.
• GIST1M에서는 EFANNA가 IEH-ITQ와 GNNS를 계속해서 능가하며, 더 어려운 고차원 데이터셋에서 더 나은 성능을 보임을 시사합니다.
• k-NN 그래프 폭을 넓히는 것(예: 10NN에서 40NN로)은 트리 수를 늘리는 것보다 더 큰 성능 향상을 제공하며, 특히 인덱스 크기가 제한된 조건에서 두드러집니다.
• 동일한 메모리 비용 조건에서 트리 수를 늘리는 것보다 그래프 폭(k)을 늘리는 것이 더 높은 재현율과 빠른 속도를 제공하므로, 더 효율적인 최적화 전략입니다.
• 오픈소스 EFANNA 라이브러리는 GitHub에 공개되어 있어 확장 가능한 ANN 시스템의 구현과 향후 연구를 가능하게 합니다.