[논문 리뷰] Generic Inverted Index on the GPU

Jingbo Zhou, Qi Guo외 5명|arXiv (Cornell University)|2016. 03. 28.

Advanced Image and Video Retrieval Techniques참고 문헌 66인용 수 7

한 줄 요약

이 논문은 문서, 시퀀스, 고차원 벡터와 같은 다양한 데이터 유형 간의 유사도 검색을 GPU 가속화한 일반적인 역색인 프레임워크인 GENIE를 제안한다. 국소성 감지 해싱(Locality Sensitive Hashing, LSH)과 통합된 GPU 병렬 처리를 활용하여, 다양한 유사도 측정 기준 하에서 효율적인 근사 최근접 이웃 검색을 가능하게 하며, 해시된 데이터와 원본 데이터 양쪽 모두를 지원함으로써 실제 데이터셋에서 높은 성능을 달성한다.

ABSTRACT

Data variety, as one of the three Vs of the Big Data, is manifested by a growing number of complex data types such as documents, sequences, trees, graphs and high dimensional vectors. To perform similarity search on these data, existing works mainly choose to create customized indexes for different data types. Due to the diversity of customized indexes, it is hard to devise a general parallelization strategy to speed up the search. In this paper, we propose a generic inverted index on the GPU (called GENIE), which can support similarity search of multiple queries on various data types. GENIE can effectively support the approximate nearest neighbor search in different similarity measures through exerting Locality Sensitive Hashing schemes, as well as similarity search on original data such as short document data and relational data. Extensive experiments on different real-life datasets demonstrate the efficiency and effectiveness of our system.

연구 동기 및 목표

• 문서, 시퀀스, 그래프, 벡터와 같은 이질적인 데이터 유형 간의 유사도 검색을 하나의 확장 가능한 프레임워크에서 지원하는 도전 과제를 해결한다.
• 각 데이터 유형 별 맞춤형 색인의 한계를 극복하기 위해 GPU 병렬 처리에 최적화된 통합 색인 및 검색 시스템을 설계한다.
• 국소성 감지 해싱(Locality Sensitive Hashing, LSH)을 사용하여 다수의 유사도 측정 기준 하에서 효율적인 근사 최근접 이웃 검색을 가능하게 한다.
• 데이터 유형에 특화된 색인 설계 없이도 변환된(예: 해시된) 데이터와 원본 데이터 표현 모두에서 유사도 검색을 지원한다.

제안 방법

• 다양한 유사도 측정 기준에 맞춘 LSH 스킴을 사용해 데이터 항목을 해시 버킷으로 매핑하는 일반적인 역색인 구조를 설계한다.
• 모든 데이터 유형에서 색인 구축 및 쿼리 처리를 병렬화하기 위해 GPU 최적화된 데이터 구조와 커널 루틴을 구현한다.
• 동일한 프레임워크 내에서 이중 색인 경로를 유지함으로써 LSH를 통한 근사 검색과 원본 데이터에서의 정확한 검색을 모두 지원한다.
• 해시 계산 및 후보 검색 중 최대 처리량을 확보하기 위해 GPU 메모리 코alescing과 스레드 블록 스케줄링을 활용한다.
• 쿼리의 유사도 측정 기준에 따라 적절한 LSH 스킴을 동적으로 선택하는 통합 쿼리 처리 파이프라인을 통합한다.
• 작업량 인식 메모리 관리를 적용하여 크기가 변하는 데이터를 처리하고 GPU 메모리 액세스 지연을 줄인다.

실험 결과

연구 질문

• RQ1 각 데이터 유형 별 맞춤형 색인 설계 없이도 단일 GPU 최적화 색인 프레임워크가 다양한 데이터 유형 간의 유사도 검색을 효율적으로 지원할 수 있는가?
• RQ2 다양한 유사도 측정 기준 하에서 근사 최근접 이웃 검색을 가속화하기 위해 일반적인 역색인 내에서 LSH를 사용하는 것이 얼마나 효과적인가?
• RQ3 제안된 GPU 병렬 처리 전략은 CPU 기반 또는 전용 색인 솔루션 대비 쿼리 처리량을 얼마나 향상시키는가?
• RQ4 동일한 프레임워크 내에서 LSH를 통한 근사 검색과 원본 데이터에서의 정확한 검색을 모두 효율적으로 지원할 수 있는가?

주요 결과

• GENIE는 다양한 데이터 유형에서 GPU 병렬 처리를 활용함으로써 쿼리 처리 시간을 크게 단축시키며, CPU 기반 베이스라인을 능가한다.
• 유연하게 조정 가능한 LSH 스킴을 통해 다수의 유사도 측정 기준을 지원하여 재색인 없이 효과적인 근사 최근접 이웃 검색을 가능하게 한다.
• GENIE는 짧은 문서와 고차원 벡터를 포함한 실제 생활 데이터셋에서 높은 확장성을 보이며 일관된 성능 향상을 보인다.
• 통합 색인 접근 방식은 다양한 데이터 유형에 특화된 별도의 전용 색인을 유지하는 것에 비해 엔지니어링 오버헤드를 줄인다.