[논문 리뷰] ANN-Benchmarks: A Benchmarking Tool for Approximate Nearest Neighbor Algorithms

Martin Aumüller, Erik Bernhardsson외 1명|arXiv (Cornell University)|2018. 07. 15.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

ANN-Benchmarks는 다양한 데이터셋과 품질 메트릭을 기반으로 약근접근점(ANN) 알고리즘을 평가하기 위한 자동화되고 표준화된 벤치마킹 프레임워크입니다. HNSW와 FAISS-IVF와 같은 알고리즘의 여러 파라미터 설정을 테스트함으로써 그래프 기반 방법이 높은 재현율에서 다른 방법보다 뛰어나다는 것을 드러내며, 새로운 메트릭과 자동 튜닝 연구를 위한 확장 가능한 평가를 지원합니다.

ABSTRACT

This paper describes ANN-Benchmarks, a tool for evaluating the performance of in-memory approximate nearest neighbor algorithms. It provides a standard interface for measuring the performance and quality achieved by nearest neighbor algorithms on different standard data sets. It supports several different ways of integrating $k$-NN algorithms, and its configuration system automatically tests a range of parameter settings for each algorithm. Algorithms are compared with respect to many different (approximate) quality measures, and adding more is easy and fast; the included plotting front-ends can visualise these as images, $\LaTeX$ plots, and websites with interactive plots. ANN-Benchmarks aims to provide a constantly updated overview of the current state of the art of $k$-NN algorithms. In the short term, this overview allows users to choose the correct $k$-NN algorithm and parameters for their similarity search task; in the longer term, algorithm designers will be able to use this overview to test and refine automatic parameter tuning. The paper gives an overview of the system, evaluates the results of the benchmark, and points out directions for future work. Interestingly, very different approaches to $k$-NN search yield comparable quality-performance trade-offs. The system is available at http://ann-benchmarks.com .

연구 동기 및 목표

• 다양한 데이터셋과 메트릭을 기반으로 약근접점 알고리즘에 대한 표준화되고 재현 가능한 평가의 부족을 해결하기 위해.
• 다양한 알고리즘 구현과 파라미터 설정을 지원하는 통합적이고 자동화된 벤치마킹 시스템을 제공하기 위해.
• 연구자와 실무자가 특정 유사도 검색 작업에 최적의 알고리즘과 파라미터를 선택할 수 있도록 지원하기 위해.
• 자기 튜닝 알고리즘 평가를 위한 벤치마킹 모드를 제공함으로써 향후 자동 파라미터 튜닝 연구를 지원하기 위해.
• Jaccard 거리와 같은 새로운 메트릭(예: Jaccard 거리)과 배치 쿼리와 같은 새로운 쿼리 패턴으로의 벤치마킹을 확장하기 위해.

제안 방법

• 프레임워크는 k-NN 알고리즘 통합을 위한 표준 인터페이스를 제공하며, 입력/출력 및 파라미터 처리를 추상화합니다.
• 가장 넓은 범위의 파라미터 설정을 구성 가능한 시스템을 사용하여 각 알고리즘에 대해 자동으로 테스트합니다.
• 성능 평가는 재현율, QPS 등 여러 품질 측정 기준을 사용하고, 상호작용 가능한 플롯 및 LaTeX 출력을 통해 시각화됩니다.
• 유클리드 거리와 코사인 거리와 같은 다양한 거리 메트릭을 지원하며, 집합 유사도를 위한 Jaccard 거리와 같은 새로운 메트릭으로도 확장 가능합니다.
• 자기 튜닝 기능 테스트를 위한 벤치마킹 모드를 포함하여, 알고리즘이 전체 학습 전에 소규모 데이터셋 서브셋에서 스스로 튜닝하도록 합니다.
• 프레임워크는 상세한 실행 데이터를 저장하여 평균 성능를 넘어서는 후행 분석(예: 쿼리 시간의 분산)을 가능하게 합니다.

Figure 2 . Overview of the interaction between ANN-Benchmarks and an algorithm instance under test.

실험 결과

연구 질문

• RQ1 표준 데이터셋에서 다양한 약근접점 알고리즘이 재현율과 쿼리 성능(QPS) 측면에서 어떻게 성능을 내는가?
• RQ2 알고리즘 파라미터(예: 인덱스 크기, 빌드 설정)의 변화가 품질-성능 트레이드오프에 미치는 영향은 무엇인가?
• RQ3 그래프 기반, 트리 기반, LSH와 같은 다양한 알고리즘 접근 방식 중에서 다양한 데이터셋에서 속도와 재현율 사이의 최적 트레이드오프를 달성하는 것은 무엇인가?
• RQ4 실제 세계 데이터셋과 무작위 데이터셋 등 서로 다른 구조적 특성을 가진 데이터셋은 알고리즘의 동작 방식과 성능에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 약근접점 알고리즘에 대한 자동 파라미터 튜닝 전략을 지원하고 평가할 수 있는가?

주요 결과

• HNSW와 KGraph와 같은 그래프 기반 알고리즘은 복잡한 데이터셋에서 특히 높은 재현율에서 다른 접근 방식보다 뛰어난 성능을 보입니다.
• 높은 재현율을 확보하기 위해선 더 큰 인덱스가 일반적으로 더 나은 성능을 보이며, 쿼리 파라미터 설정에 더 강건합니다.
• 어려운 쿼리가 포함된 데이터셋에서는 그래프 기반 방법의 인덱스 구축 시간이 주요 성능 저하 요인입니다.
• 무작위 데이터셋에서는 알고리즘의 동작이 크게 다릅니다. 이는 데이터셋의 구조가 성능에 중대한 영향을 미친다는 것을 시사합니다.
• 프레임워크는 일관되고 재현 가능한 평가를 가능하게 하며, 매우 다른 알고리즘적 접근 방식이 유사한 품질-성능 트레이드오프를 달성할 수 있음을 드러냅니다.
• Jaccard 거리 기반의 집합 유사도에 대한 초보적 지원은 존재하지만, 이 메트릭을 위한 알고리즘 구현은 아직 부족합니다.

Figure 3 . Interactive plot screen from framework’s website (cropped). Plot shows “Queries per second” ( $y$ -axis, log-scaled) against “Recall” ( $x$ -axis, not shown). Highlighted data point corresponds to a run of Annoy with parameters as depicted, giving about 1249 queries per second for a recal