[논문 리뷰] Learning Space Partitions for Nearest Neighbor Search

Yihe Dong, Piotr Indyk외 2명|arXiv (Cornell University)|2019. 01. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 27

한 줄 요약

이 논문은 근접 이웃 검색(NNS) 성능을 향상시키기 위해 $k$-NN 그래프의 균형 잡힌 그래프 분할과 지도 학습 분류를 결합함으로써 $ℝ^d$ 내 공간 분할을 학습하는 새로운 프레임워크인 신경형 국소감성 해싱(Neural LSH)을 제안한다. 이 방법은 표준 벤치마크에서 양자화 기반, 트리 기반, 고전적 LSH 방법들을 능가하며, 더 적은 후보 수로 높은 정확도를 달성한다.

ABSTRACT

Space partitions of $\mathbb{R}^d$ underlie a vast and important class of fast nearest neighbor search (NNS) algorithms. Inspired by recent theoretical work on NNS for general metric spaces [Andoni, Naor, Nikolov, Razenshteyn, Waingarten STOC 2018, FOCS 2018], we develop a new framework for building space partitions reducing the problem to balanced graph partitioning followed by supervised classification. We instantiate this general approach with the KaHIP graph partitioner [Sanders, Schulz SEA 2013] and neural networks, respectively, to obtain a new partitioning procedure called Neural Locality-Sensitive Hashing (Neural LSH). On several standard benchmarks for NNS, our experiments show that the partitions obtained by Neural LSH consistently outperform partitions found by quantization-based and tree-based methods as well as classic, data-oblivious LSH.

연구 동기 및 목표

• 스케치 기반 방법에서의 성공에도 불구하고, 근접 이웃 검색(NNS)의 공간 분할에 현대적 지도 학습 기법을 활용하는 데에 미치는 격차를 메우기 위해.
• 데이터에 민감한 분할을 학습함으로써 후보 집합 크기, 재현율, 계산 효율성과 같은 핵심 NNS 메트릭을 최적화하는 프레임워크를 설계하기 위해.
• NNS 색인에서 데이터에 무관하거나 비지도 분할 방법(예: $k$-means 및 무작위 투영)의 한계를 극복하기 위해.
• 지도 학습 분류가 조합적 그래프 분할을 전체 환경 공간 $ℝ^d$로 효과적으로 확장할 수 있는지 탐색하기 위해.
• 학습 기반 공간 분할이 정확도와 효율성 측면에서 전통적 색인 방법을 뛰어넘을 수 있음을 입증하기 위해.

제안 방법

• 데이터셋의 $k$-근접 이웃(k-NN) 그래프 $G$를 구성하며, 각 점이 자신의 $k$개의 근접 이웃과 연결된다.
• KaHIP를 사용하여 $G$를 거의 같은 크기의 $m$개의 부분으로 균형 잡힌 그래프 분할을 수행하며, 분할 간 간선 수를 최소화한다.
• 분할 레이블을 타깃으로 사용하여 지도 분류기(예: 로지스틱 회귀 또는 신경망)를 데이터 포인트에 대해 훈련시켜 분할을 $ℝ^d$ 전체로 확장한다.
• 결과로 얻은 분류기를 사용해 쿼리 포인트를 바구니에 할당하고, 해당 바구니와 인접한 바구니에 속한 모든 데이터 포인트를 후보로 추출한다.
• 일반화 및 강인성을 향상시키기 위해 소프트 레이블(온도 스케일링)을 사용해 분류기를 최적화한다.
• 이 프레임워크는 일반적이며 다양한 분할기와 분류기로 구현 가능하며, 표준 NNS 벤치마크에서의 실험적 평가가 수행되었다.

실험 결과

연구 질문

• RQ1 지난해의 비지도 또는 데이터에 무관한 방법에 비해 지도 학습 기법이 근접 이웃 검색을 위한 공간 분할을 향상시킬 수 있는가?
• RQ2 k-NN 그래프를 분할하고 분류를 통해 확장하는 방식이 기존 색인 방법보다 더 나은 NNS 성능을 낼 수 있는가?
• RQ3 k-NN 그래프에서 $k$의 선택이 최종 분할 품질과 검색 정확도에 미치는 영향은 어떠한가?
• RQ4 분류기 훈련 중 소프트 레이블을 사용하면 분할 기법의 일반화 및 강인성이 향상되는가?
• RQ5 이 프레임워크는 비유클리드 공간으로 확장될 수 있으며, 앙상블 방법과 조합하여 성능 향상을 추가로 달성할 수 있는가?

주요 결과

• Neural LSH는 SIFT 및 GloVe 데이터셋 모두에서 $k$-means 클러스터링과 PCA 트리보다 $k$-NN 정확도와 후보 집합 크기 측면에서 뚜렷하게 뛰어나다.
• SIFT 데이터셋에서 Neural LSH는 평균 후보 수는 $k$-means와 유사하지만, 95프cntile 성능에서는 유의미하게 뛰어나다.
• GloVe 데이터셋에서 $k=50$일 때 Neural LSH는 단지 $10$-NN 그래프를 사용함에도 불구하고 $k$-means($k=50$)를 능가하며, $k$ 선택에 대해 강건함을 보였다.
• 소프트 레이블 온도 $S=15$로 설정할 경우 $S=1$보다 유의미하게 더 좋은 결과를 얻었으며, $S=15$를 초과하면 수익 감소 현상이 나타났다.
• Neural LSH는 무작위 투영 트리보다 뚜렷이 뛰어나며, 이는 본질적으로 확률적이고 정확도 향상을 위해 앙상블이 필요한 반면 Neural LSH는 이를 우수하게 보완하기 때문이다.
• 프레임워크는 잘 일반화된다: 분할의 평균 $k$-NN 정확도는 $k$-NN 간선이 분할 간에 잘려나가는 비율과 직접적인 관련이 있으며, 이는 이론적 기반을 검증한다.