[논문 리뷰] Scalable Nearest Neighbor Search based on kNN Graph

Wan‐Lei Zhao, Jie Yang외 1명|arXiv (Cornell University)|2017. 01. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 kNN 그래프 기반의 오르막 탐색과 다층 잔여 벡터 양자화(RVQ)를 결합한 확장 가능한 최근접 이웃 검색 방법인 IVF+E-GNNS를 제안한다. RVQ를 활용해 확률이 높은 영역에서 검색을 유도하고 메모리 경량 인덱싱을 가능하게 함으로써, SIFT1M 및 GIST1M 데이터셋에서 높은 속도, 근사 100% 재현율, 높은 메모리 효율성을 달성하며, 압축 및 비압축 기반 기준선을 모두 초월한다.

ABSTRACT

Nearest neighbor search is known as a challenging issue that has been studied for several decades. Recently, this issue becomes more and more imminent in viewing that the big data problem arises from various fields. In this paper, a scalable solution based on hill-climbing strategy with the support of k-nearest neighbor graph (kNN) is presented. Two major issues have been considered in the paper. Firstly, an efficient kNN graph construction method based on two means tree is presented. For the nearest neighbor search, an enhanced hill-climbing procedure is proposed, which sees considerable performance boost over original procedure. Furthermore, with the support of inverted indexing derived from residue vector quantization, our method achieves close to 100% recall with high speed efficiency in two state-of-the-art evaluation benchmarks. In addition, a comparative study on both the compressional and traditional nearest neighbor search methods is presented. We show that our method achieves the best trade-off between search quality, efficiency and memory complexity.

연구 동기 및 목표

• 고차원적이고 대규모의 벡터 공간에서 최근접 이웃 검색의 확장성과 효율성 도전 과제를 해결하기 위해.
• 지속적인 지역 최적치에 갇히는 문제를 줄이기 위해 지도된 초기화를 통해 kNN 그래프 상의 오르막 탐색을 향상시키기 위해.
• 다층 잔여 벡터 양자화 기반의 역인덱싱을 통해 최소한의 메모리 오버헤드로 높은 검색 재현율을 달성하기 위해.
• 기존의 압축 및 비압축 방법을 능가하는 속도, 재현율, 메모리 비용의 균형을 이루기 위해.
• 압축된 표현을 기반으로 한 효율적이고 희박한 인덱싱을 통해 빌리언 수준의 최근접 이웃 검색을 가능하게 하기 위해.

제안 방법

• 시간 복잡도 O(n·log(n)·D)를 갖는 확장 가능한 kNN 그래프 구축 방법을 제안하여 대규모 데이터셋에 대한 효율적 인덱싱을 가능하게 한다.
• 다층 잔여 벡터 양자화(RVQ)를 활용해 진짜 최근접 이웃가 포함될 가능성이 높은 영역에서 검색을 유도하는 개선된 오르막 탐색 절차를 도입한다.
• RVQ에서 유도된 역인덱싱을 활용해 참조 벡터 ID만 저장함으로써 메모리 오버헤드를 최소화하고 빠른 검색을 가능하게 한다.
• RVQ를 통한 벡터 공간의 군집에서부터 세분화된 분할을 통해 높은 가능성의 후보 영역으로 검색을 유도함으로써 수렴성과 재현율을 향상시킨다.
• kNN 그래프 기반 검색과 양자화 기반 인덱싱을 결합하여 높은 정확도와 빠른 속도 효율성을 동시에 달성한다.
• 작은 어휘를 갖는 희박한 인덱싱을 통해 빌리언 수준의 데이터셋을 지원하며, 효율적이고 확장 가능한 검색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 kNN 그래프 기반 최근접 이웃 검색 방법은 대규모 데이터셋에서 낮은 메모리 비용과 높은 속도로 높은 재현율을 달성할 수 있는가?
• RQ2 kNN 그래프 상의 오르막 탐색은 지역 최적치에 갇히는 문제를 줄이고 수렴 속도를 높이기 위해 어떻게 개선될 수 있는가?
• RQ3 잔여 벡터 양자화는 상당한 메모리 오버헤드 없이 검색 초기화를 효과적으로 유도하는 데 사용될 수 있는가?
• RQ4 제안된 방법은 최신의 압축 및 비압축 최근접 이웃 검색 방법과 비교해 속도, 재현율, 메모리 효율성에서 어떻게 비교되는가?
• RQ5 메모리 비용과 검색 품질을 유지하면서 빌리언 수준의 데이터셋으로 확장 가능한가?

주요 결과

• IVF+E-GNNS는 SIFT1M과 GIST1M에서 각각 평균 쿼리 시간이 1.8ms와 8.0ms로 근사 100% 재현율을 달성하며, EFANNA 및 ANN보다 재현율-속도 트레이드오프에서 뛰어나다.
• SIFT1M에서는 recall@1이 98.3%, recall@100이 98.3%이며, GIST1M에서는 recall@1이 94.3%, recall@100이 94.3%를 기록하며, 참조 집합 크기의 1.234배와 1.053배의 최소한의 메모리 오버헤드를 기록한다.
• IVFPQ 및 IVFRVQ와 비교해 IVF+E-GNNS는 훨씬 높은 재현율을 달성하면서도 더 빠른 검색 시간과 낮은 메모리 소비를 보였다.
• E2LSH 및 FLANN보다 빠른 속도와 높은 재현율을 기록했으며, 특히 고재현율 기준에서 뛰어나며, 완전 탐색보다도 더 확장 가능하다.
• RVQ 기반의 역인덱싱은 극히 낮은 메모리 비용으로 희박하고 효율적인 인덱싱을 가능하게 하여 빌리언 수준의 검색을 실현 가능하게 했다.
• RVQ에 기반한 개선된 오르막 탐색 절차는 기존 E-GNNS 기준 평균 재현율을 10% 이상 향상시켰으며, 검색 시간은 유사하게 유지했다.