[논문 리뷰] Results of the NeurIPS'21 Challenge on Billion-Scale Approximate Nearest Neighbor Search

Harsha Vardhan Simhadri, George Williams외 10명|arXiv (Cornell University)|2022. 05. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 14

한 줄 요약

이 논문은 빌리언스케일 근사 최근접 이웃(ANNS) 검색에 대한 NeurIPS'21 챌린지의 결과를 제시한다. 이는 표준 DRAM 제한, DRAM+SSD, 그리고 맞춤형 하드웨어의 세 가지 하드웨어 트랙에서 수행된 평가로, 여섯 개의 대규모 데이터셋을 사용한다. OptaNNE GraphNN과 CUANNS MultiGPU는 각각 리콜과 처리량에서 최고 성능을 기록하였으며, 이는 최적화된 그래프 기반 및 다중 GPU 접근 방식이 빌리언스케일에서 기존 기준보다 뛰어난 비용 효율성과 에너지 효율성을 확보함을 보여준다.

ABSTRACT

Despite the broad range of algorithms for Approximate Nearest Neighbor Search, most empirical evaluations of algorithms have focused on smaller datasets, typically of 1 million points~\citep{Benchmark}. However, deploying recent advances in embedding based techniques for search, recommendation and ranking at scale require ANNS indices at billion, trillion or larger scale. Barring a few recent papers, there is limited consensus on which algorithms are effective at this scale vis-à-vis their hardware cost. This competition compares ANNS algorithms at billion-scale by hardware cost, accuracy and performance. We set up an open source evaluation framework and leaderboards for both standardized and specialized hardware. The competition involves three tracks. The standard hardware track T1 evaluates algorithms on an Azure VM with limited DRAM, often the bottleneck in serving billion-scale indices, where the embedding data can be hundreds of GigaBytes in size. It uses FAISS~\citep{Faiss17} as the baseline. The standard hardware track T2 additional allows inexpensive SSDs in addition to the limited DRAM and uses DiskANN~\citep{DiskANN19} as the baseline. The specialized hardware track T3 allows any hardware configuration, and again uses FAISS as the baseline. We compiled six diverse billion-scale datasets, four newly released for this competition, that span a variety of modalities, data types, dimensions, deep learning models, distance functions and sources. The outcome of the competition was ranked leaderboards of algorithms in each track based on recall at a query throughput threshold. Additionally, for track T3, separate leaderboards were created based on recall as well as cost-normalized and power-normalized query throughput.

연구 동기 및 목표

• 실제 하드웨어 제약 조건 하에 빌리언스케일 데이터셋에서 ANNS 알고리즘의 성능을 평가하는 것.
• 대규모 ANNS 시스템을 위한 재현 가능한 오픈소스 벤치마킹 프레임워크를 구축하는 것.
• 메모리, 스토리지, GPU 사용량을 포함한 다양한 하드웨어 구성에서 알고리즘 효율성을 비교하는 것.
• 검색, 추천, 랭킹과 같은 실세계 응용 분야에 적합한 확장 가능하고 비용 효율적인 솔루션을 식별하는 것.
• 대규모 벡터 검색을 위한 시스템 및 알고리즘 설계 분야의 혁신을 자극하는 것.

제안 방법

• 챌린지는 GitHub에 호스팅된 표준화된 평가 프레임워크를 사용하여 ANNS 구현의 재현 가능한 벤치마킹을 가능하게 하였다.
• 세 가지 하드웨어 트랙이 정의되었으며, 각각 T1(64GB DRAM 전용), T2(64GB DRAM + SSD), T3(맞춤형 하드웨어)로, 자원 제약 조건이 다름.
• 여섯 가지 다양한 빌리언스케일 데이터셋을 수집하였으며, Microsoft, Meta, Baidu, Yandex의 신규 출시 데이터셋을 포함하여 다양한 모odalities와 임bedding 유형을 다룸.
• 고정된 k=10 및 반경 R을 사용하여 k-NN 및 범위 검색 쿼리에 대해 평가하였으며, 최소 쿼리 처리량 기준에서의 리콜을 사용.
• T3의 경우, 효율성을 평가하기 위해 리콜, 비용 정규화 처리량, 전력 정규화 처리량 기반의 추가 랭킹 보드를 제작함.
• 기준 시스템으로는 FAISS(T1, T3)와 DiskANN(T2)을 사용하였으며, 모든 데이터셋에서 표준화된 지표를 사용해 제출 사항을 평가함.

실험 결과

연구 질문

• RQ1 빌리언스케일에서 하드웨어 비용을 최소화하면서 최고의 리콜을 달성하는 ANNS 알고리즘은 무엇인가?
• RQ2 DRAM, SSD, GPU 등의 다양한 하드웨어 구성이 ANNS 시스템의 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 그래프 기반 또는 다중 GPU 접근 방식이 스케일링 시 기존의 벡터 양자화 또는 트리 기반 방법보다 뛰어나게 작용할 수 있는가?
• RQ4 알고리즘 설계는 대규모 ANNS 워크로드에서 처리량과 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 실세계 구현 환경에서 정확도, 지연 시간, 비용 간의 상호 교환 관계는 어떠한가?

주요 결과

• OptaNNE GraphNN는 전용 하드웨어 트랙(T3)에서 최고의 리콜을 기록하였으며, 비용 정규화 처리량 및 전력 정규화 처리량 랭킹 보드에서 1위를 차지함.
• CUANNS MultiGPU는 T3에서 최고의 쿼리 처리량을 기록하여, 다중 GPU 가속이 대규모 ANNS에 있어 효과적임을 입증함.
• 모든 트랙에서 기준 FAISS 구현이 여러 제출 사항에 의해 뛰어넘어졌으며, 이는 확장 가능한 ANNS 시스템에서의 향상 여지가 크다는 것을 시사함.
• T2에서 SSD의 사용은 T1 대비 성능 향상을 크게 이끌어내어, DRAM이 부족할 경우 스토리지 I/O가 핵심 병목 현상이 될 수 있음을 보여줌.
• 평가 프레임워크는 다양한 데이터셋과 하드웨어 간의 재현 가능한 벤치마킹을 성공적으로 가능하게 하였으며, 다수의 제출 사항을 통해 결과가 검증됨.
• Intel과 NVIDIA는 챌린지의 공동 우승자로 선정되었으며, 이는 OptaNNE GraphNN와 CUANNS MultiGPU가 다수 지표에서 뛰어난 성능을 보였음을 반영함.