[논문 리뷰] Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs

Yu. A. Malkov, D. A. Yashunin|arXiv (Cornell University)|2016. 03. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 187

한 줄 요약

계층적 NSW(HNSW)를 소개하는, 다층 근접 그래프 및 스케일 분리 링크를 갖춘 완전 그래프 기반 근사 KNN 인덱스로 빠르고 견고한 ANN 검색을 로그 복잡도로 가능하게 한다.

ABSTRACT

We present a new approach for the approximate K-nearest neighbor search based on navigable small world graphs with controllable hierarchy (Hierarchical NSW, HNSW). The proposed solution is fully graph-based, without any need for additional search structures, which are typically used at the coarse search stage of the most proximity graph techniques. Hierarchical NSW incrementally builds a multi-layer structure consisting from hierarchical set of proximity graphs (layers) for nested subsets of the stored elements. The maximum layer in which an element is present is selected randomly with an exponentially decaying probability distribution. This allows producing graphs similar to the previously studied Navigable Small World (NSW) structures while additionally having the links separated by their characteristic distance scales. Starting search from the upper layer together with utilizing the scale separation boosts the performance compared to NSW and allows a logarithmic complexity scaling. Additional employment of a heuristic for selecting proximity graph neighbors significantly increases performance at high recall and in case of highly clustered data. Performance evaluation has demonstrated that the proposed general metric space search index is able to strongly outperform previous opensource state-of-the-art vector-only approaches. Similarity of the algorithm to the skip list structure allows straightforward balanced distributed implementation.

연구 동기 및 목표

• 다른 인접-그래프 방법들이 사용하는 대략 탐색 구조를 피하는 완전 그래프 기반 ANN 인덱스 개발.
• 지수 감소에 따라 무작위 상위 계층에 각 요소가 참여하는 계층적 다층 그래프를 도입하여 규모 분리된 근접 링크를 생성.
• 상위 계층에서 시작하고 규모 인식 이웃 선택을 사용하면 군집 데이터에서 성능과 재현율(true recall)을 높임을 보인다.

제안 방법

• 지수 감소 분포에 의해 요소의 최대 계층이 결정되는 다층 인접 그래프 인덱스를 구성.
• 탐색을 최상위 계층에서 하향식으로 그레이디 또는 휴리스틱 내비게이션으로 수행.
• 성과를 높이고 높은 재현율 및 강하게 군집된 데이터에서의 성능을 개선하기 위해 이웃 그래프 이웃 선택에 휴리스틱을 사용.
• 스킵리스트 구조와의 관계를 활용해 확장 가능하고 분산 구현이 가능하도록 함.
• NSW 및 다른 벡터 전용 접근법과 비교하여 일반 메트릭 공간에서의 성능 향상을 시연.

실험 결과

연구 질문

• RQ1 계층적 계층화와 규모 분리 링크가 비계층 NSW 방법에 비해 ANN 검색 속도와 정확도에 어떤 영향을 미치는가?
• RQ2 보조 대략 구조 없이 완전 그래프 기반 인덱스가 다양한 메트릭 공간에서 실질적으로 로그 쿼리 복잡도를 달성할 수 있는가?
• RQ3 휴리스틱 이웃 선택이 특히 고도로 클러스터링된 데이터에서 재현율을 향상시키는가?
• RQ4 스킵리스트 유사 구조로 인해 방식이 균형 잡힌 분산 구현에 적합한가?

주요 결과

• 계층적 계층과 규모 분리 링크를 사용하여 NSW 및 벡터 전용 방법에 비해 HNSW 인덱스가 성능을 향상시킨다.
• 상위 계층에서의 탐색과 규모 인식 내비게이션의 결합은 로그에 근접한 복잡성과 더 빠른 쿼리를 제공한다.
• 이웃 선택 휴리스틱이 고도로 군집화된 데이터에서 재현율과 성능을 크게 향상시킨다.
• 그래프 기반 접근은 스킵리스트 유사 속성으로 인해 분산 구현을 용이하게 한다.
• 실험적 평가에서 일반 메트릭 공간에서의 기존 오픈 소스 최첨단 방법들보다 강한 성능 향상을 보여준다.