[논문 리뷰] FLASH: Randomized Algorithms Accelerated over CPU-GPU for Ultra-High Dimensional Similarity Search

Yiqiu Wang, Anshumali Shrivastava외 2명|arXiv (Cornell University)|2017. 09. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 9

한 줄 요약

FLASH는 무작위 LSH, 저수 샘플링, 일회성 최소화 해싱, 카운트 기반 추정을 사용하여 CPU-GPU 시스템에서 초고차원 유사도 검색을 가속화하며, 13억 개의 비제로를 가진 webspam 데이터셋에서 k-NN 그래프 구축을 10초 이내로 완료한다. 이는 브루트 포스 검색보다 20 테라플롭스 이상 빠르며, FAISS 및 HNSW와 같은 최첨단 도구보다도 빠르고 확장성 면에서 뛰어나다.

ABSTRACT

We present FLASH ( extbf{F}ast extbf{L}SH extbf{A}lgorithm for extbf{S}imilarity search accelerated with extbf{H}PC), a similarity search system for ultra-high dimensional datasets on a single machine, that does not require similarity computations and is tailored for high-performance computing platforms. By leveraging a LSH style randomized indexing procedure and combining it with several principled techniques, such as reservoir sampling, recent advances in one-pass minwise hashing, and count based estimations, we reduce the computational and parallelization costs of similarity search, while retaining sound theoretical guarantees. We evaluate FLASH on several real, high-dimensional datasets from different domains, including text, malicious URL, click-through prediction, social networks, etc. Our experiments shed new light on the difficulties associated with datasets having several million dimensions. Current state-of-the-art implementations either fail on the presented scale or are orders of magnitude slower than FLASH. FLASH is capable of computing an approximate k-NN graph, from scratch, over the full webspam dataset (1.3 billion nonzeros) in less than 10 seconds. Computing a full k-NN graph in less than 10 seconds on the webspam dataset, using brute-force ($n^2D$), will require at least 20 teraflops. We provide CPU and GPU implementations of FLASH for replicability of our results.

연구 동기 및 목표

• 수백만 차원에 이르는 초고차원이고 희박한 데이터셋에서 정확한 k-NN 검색이 계산적으로 불가능한 문제를 해결하기 위해.
• LSH(왜곡된 버킷, 메모리 과잉)나 제품 양자화(차원 수 증가에 따라 성능 저하) 등의 기존 근사 방법의 한계를 극복하기 위해.
• 단일 머신 CPU-GPU 플랫폼에서 높은 성능과 강력한 이론적 보장을 동시에 확보하는 시스템을 설계하기 위해.
• 실제 응용 분야인 추천 시스템, 클릭 스루 예측, 소셜 네트워크 마이닝 등에서 빠르고 확장 가능하며 재현 가능한 유사도 검색을 가능하게 하기 위해.

제안 방법

• 고차원 희박 벡터를 압축된 해시 코드로 매핑하기 위해 부호가 있는 무작위 투영을 사용한 국소성 민감한 해싱(LSH)을 활용한다.
• 일회성 최소화 해싱과 DOPH(Distributed One-Pass Hashing)를 사용하여 낮은 메모리 소비와 높은 병렬성으로 자카르 유사도를 효율적으로 추정한다.
• 버킷 크기를 균형 있게 유지하고 빈번한 토큰으로 인한 무거운 버킷으로 인한 성능 저하를 방지하기 위해 저수 샘플링을 적용한다.
• 명시적인 거리 계산 없이도 유사도 순서를 가속화하기 위해 카운트 기반 추정을 사용한다.
• 이러한 기법들을 CPU-GPU 하이브리드 아키텍처에 통합하여 데이터 병렬성을 활용하고 색인 및 쿼리 지연을 줄인다.
• 해싱 시간이 데이터 로딩 시간보다 빠르도록 최적화된 GPU 커널을 통합하여 종단 간 k-NN 그래프 구축을 10초 이내로 보장한다.

실험 결과

연구 질문

• RQ1 무작위 LSH 기반 시스템이 webspam과 같은 13억 비제로를 가진 초고차원 데이터셋에서 k-NN 그래프를 10초 이내로 구축할 수 있는가?
• RQ2 FLASH는 FAISS 및 HNSW와 같은 최첨단 시스템과 비교해 고차원 희박 데이터에서 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 저수 샘플링은 이론적 보장을 훼손하지 않고 LSH의 버킷 왜곡 문제를 효과적으로 완화할 수 있는가?
• RQ4 일회성 최소화 해싱과 카운트 기반 추정은 얼마나 많은 계산 비용 절감을 이룰 수 있는가?
• RQ5 GPU 가속은 LSH와 저수 샘플링과 효과적으로 통합되어 막대한 데이터셋에서 근사로 일정 시간 내 색인을 수행할 수 있는가?

주요 결과

• FLASH는 webspam 데이터셋(13억 비제로)에서 전체 k-NN 그래프를 10초 이내로 구성하며, 이는 브루트 포스 정확 검색으로서 최소 20 테라플롭스가 요구되는 작업이다.
• RCV1 데이터셋에서 FLASH는 유사도 ≥0.85인 고유사성 이웃에 대해 80% 이상의 리콜을 달성하며, 고차원에서 FAISS보다 빠르고 리콜 면에서도 뛰어나다.
• GPU 커널 최적화를 통해 색인 시간을 데이터 로딩 시간 이하로 줄여 해싱 시간이 I/O 시간보다 빠르게 만들었다.
• 저수 샘플링은 버킷 왜곡을 효과적으로 완화하여 로드 밸런싱을 향상시키고 CPU 및 GPU 간 효율적인 병렬 처리를 가능하게 하였다.
• 고차원 희박 데이터셋에서 FLASH는 FAISS보다 10배, HNSW보다 30배 빠르며, 정확도는 경쟁적 또는 더 뛰어나다.
• DOPH와 저수 샘플링의 통합은 이론적 보장을 유지하면서도 실용적 효율성을 확보하여 표준 LSH 및 투영 기반 방법보다 뛰어난 성능을 발휘하였다.