[논문 리뷰] Practical and Optimal LSH for Angular Distance

Alexandr Andoni, Piotr Indyk외 3명|TU/e Research Portal|2015. 09. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 212

한 줄 요약

이 논문은 단위 구면 상의 각도 거리에 대한 실용적이고 최적의 국소 감도 해싱(Locality-Sensitive Hashing, LSH) 기법인 크로스 폴리토프 LSH를 소개한다. 이 기법은 점점 더 최적의 쿼리 시간 지수 ρ = 1/(2c²−1)를 달성하면서도 실질적으로 초평면 LSH를 능가한다. 빠른 회전과 새로운 다중프로브 전략을 결합하여 실제 및 합성 데이터 세트에서 특히 고차원 희소 환경에서 빠른 성능 향상을 이룬다.

ABSTRACT

We show the existence of a Locality-Sensitive Hashing (LSH) family for the angular distance that yields an approximate Near Neighbor Search algorithm with the asymptotically optimal running time exponent. Unlike earlier algorithms with this property (e.g., Spherical LSH [Andoni, Indyk, Nguyen, Razenshteyn 2014], [Andoni, Razenshteyn 2015]), our algorithm is also practical, improving upon the well-studied hyperplane LSH [Charikar, 2002] in practice. We also introduce a multiprobe version of this algorithm, and conduct experimental evaluation on real and synthetic data sets. We complement the above positive results with a fine-grained lower bound for the quality of any LSH family for angular distance. Our lower bound implies that the above LSH family exhibits a trade-off between evaluation time and quality that is close to optimal for a natural class of LSH functions.

연구 동기 및 목표

• 각도 거리에 대한 이론적으로 최적의 LSH 기법과 실질적인 최근접 이웃 검색 성능 사이의 격차를 메우기 위해.
• 코사인 유사도에 대해 최적의 ρ = 1/(2c²−1)를 달성하면서도 효율적으로 계산 가능한 국소 감도 해싱 가족을 설계하기 위해.
• 이론적 최적성은 유지하면서 검색 효율성을 향상시키는 다중프로브 확장 기법을 개발하기 위해.
• 메모리 제약 조건 하에서 실제 및 합성 환경에서 새로운 LSH 기법이 초평면 LSH를 능가하는지 실증적으로 검증하기 위해.
• 각도 거리에 대한 LSH 품질에 대한 세밀한 하한을 설정하여 제안된 기법이 거의 최적임을 보여주기 위해.

제안 방법

• 단위 벡터를 대상으로 랜덤으로 회전된 크로스 폴리토프(ℓ₁-노름의 단위 볼) 기반의 새로운 LSH 가족을 제안한다.
• 빠른 회전을 위해 랜덤 직교 행렬을 사용하여 해싱 평가를 가속화함으로써 실용적 구현을 가능하게 한다.
• 단일 테이블에서 여러 후보 버킷을 동시에 쿼리하는 다중프로브 전략을 도입하여 재현율을 향상시키되, 공간을 증가시키지 않는다.
• 시간, 공간, 품질 간의 균형을 개선하기 위해 최종 k개의 해싱 함수에 부분 크로스 폴리토프를 활용한다.
• 고차원 희소 벡터(예: tf-idf 데이터)의 계산 시간을 줄이기 위해 특징 해싱을 적용한다.
• 메모리 제약 조건 하에서 성능을 최적화하기 위해 파라미터에 대한 격자 탐색을 수행한다(L=10).

실험 결과

연구 질문

• RQ1 각도 거리에 대한 국소 감도 해싱 기법이 이론적 최적성과 실용적 효율성을 동시에 달성할 수 있는가?
• RQ2 초평면 LSH의 최적 ρ = 1/(2c²−1)를 충족하면서도 실질적으로 초평면 LSH보다 빠른 실용적 LSH 가족이 존재하는가?
• RQ3 크로스 폴리토프 LSH에 대한 다중프로브 확장 기법은 검색 성능 향상에 얼마나 효과적인가?
• RQ4 각도 거리에 대한 LSH에서 평가 시간과 품질 간의 근본적인 트레이드오프는 무엇이며, 이에 얼마나 가까이 다가설 수 있는가?
• RQ5 크로스 폴리토프 LSH는 실제 고차원 희소 데이터에서 초평면 LSH를 능가하는가?

주요 결과

• n=2^28, d=128인 무작위 데이터에서 크로스 폴리토프 LSH는 초평면 LSH보다 10.3배 빠르며, 선형 스캔보다 최대 700배 빠르다.
• SIFT 데이터셋(n=10^6, d=128)에서 크로스 폴리토프 LSH는 초평면 LSH보다 1.2배 빠르며, 이는 근접 이웃 거리가 작아서 성능 향상이 미미하기 때문이다.
• 고차원 tf-idf 데이터셋(NYT 및 pubmed)에서 크로스 폴리토프 LSH는 각각 3.4배 및 4.0배의 성능 향상을 기록했으며, 이는 효율적인 특징 해싱과 다중프로브 최적화 덕분이다.
• 메모리 제약 조건(L=10) 하에서 크로스 폴리토프 LSH의 다중프로브 변형은 비다중프로브 버전보다 13배 더 빠르며, 초평면 LSH와 경쟁 가능하다.
• 이론적 분석을 통해 크로스 폴리토프 LSH가 최적의 ρ = 1/(2c²−1)를 달성함을 확인하였으며, Spherical LSH와 동일하며, 세밀한 하한 분석을 통해 자연스러운 LSH 함수 클래스 내에서 거의 최적임을 입증하였다.
• NYT와 pubmed에 대해 각각 512차원과 2048차원을 사용하여 특징 해싱을 적용함으로써 희소 데이터에서 해싱 시간을 크게 감소시켰다.