[논문 리뷰] A Comparative Study on Hierarchical Navigable Small World Graphs.

Peng-Cheng Lin, Wan‐Lei Zhao|arXiv (Cornell University)|2019. 04. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 근접 이웃 검색을 위한 계층적 가시적 소규모 세계(HNSW) 그래프를 조사하며, 다양화된 평면 k-NN 그래프와의 성능을 비교한다. 연구 결과 HNSW의 계층적 구조가 고차원 데이터에서 기대하는 로그 복잡도 스케일링을 달성하지 못하며, 유사한 검색 효율성은 다양화된 평면 k-NN 그래프로도 달성 가능하다. 그러나 양쪽 모두 차원의 고통 문제에 의해 제한된다.

ABSTRACT

Hierarchical navigable small world (HNSW) graphs get more and more popular on large-scale nearest neighbor search tasks since the source codes were released two years ago. The attractiveness of this approach lies in its superior performance over most of the nearest neighbor search approaches as well as its genericness to various distance measures. In this paper, several comparative studies have been conducted on this search approach. The role of hierarchical structure in HNSW and the function of HNSW graph itself are investigated. We find that the hierarchical structure in HNSW could not achieve a much better logarithmic complexity scaling as it was claimed in the paper, particularly on high dimensional data. Moreover, we find that similar high search speed efficiency as HNSW could be achieved with the support of flat k-NN graph after graph diversification. Finally, we point out the difficulty, faced by most of the graph based search approaches, is directly linked to curse of dimensionality. HNSW, like other graph based approaches, is unable to address such difficulty.

연구 동기 및 목표

• HNSW의 계층적 구조가 근접 이웃 검색에서 효과적인지 평가하는 것.
• 다양화된 평면 k-NN 그래프가 HNSW의 검색 효율성을 따라할 수 있는지 조사하는 것.
• 고차원성이 그래프 기반 근접 이웃 검색 방법에 미치는 영향을 분석하는 것.
• 이전 연구에서 주장한 바와 같이 HNSW가 차원의 고통 문제를 극복하는지 평가하는 것.

제안 방법

• 다양한 데이터셋과 거리 측정 방법을 사용하여 HNSW와 다양화된 평면 k-NN 그래프 간의 비교 실험을 수행한다.
• 특히 고차원 데이터에 중점을 두고 검색 성능와 복잡도 스케일링을 평가한다.
• 평면 k-NN 그래프의 연결성과 검색 효율성을 향상시키기 위해 다양화 기법을 적용한다.
• HNSW의 계층적 구조를 분석하여 로그 복잡도 스케일링에 기여하는지 평가한다.
• 정확도, 검색 속도, 차원에 따른 확장성 측면에서 두 접근 방식의 성능을 측정한다.

실험 결과

연구 질문

• RQ1 HNSW의 계층적 구조가 고차원 공간에서 주장하는 바와 같이 로그 복잡도 스케일링을 달성하는가?
• RQ2 다양화된 평면 k-NN 그래프가 HNSW와 유사한 검색 효율성을 달성할 수 있는가?
• RQ3 HNSW의 성능이 차원의 고통 문제로 인해 어느 정도 제한되는가?
• RQ4 다양한 그래프 기반 접근 방식은 증가하는 데이터 차원성과 함께 어떻게 스케일링되는가?

주요 결과

• HNSW의 계층적 구조는 고차원 데이터에서 기대하는 로그 복잡도 스케일링을 달성하지 못한다.
• 유사한 검색 속도 효율성은 다양화된 평면 k-NN 그래프로도 달성 가능하며, 이는 HNSW의 계층적 구조가 성능에 필수적이지 않다는 것을 시사한다.
• HNSW 역시 다른 그래프 기반 접근 방식과 마찬가지로 차원의 고통 문제에 본질적으로 제한된다.
• HNSW의 고차원에서의 성능 저하는 그래프 기반 근접 이웃 검색 방법이 겪는 일반적인 과제와 일관된다.