[논문 리뷰] Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)

Anshumali Shrivastava, Ping Li|arXiv (Cornell University)|2014. 05. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 255

한 줄 요약

이 논문은 전통적인 LSH의 한계를 극복하기 위해 최초로 근사 최대 내적 검색(MIPS)을 위한 증명 가능하게 하위선형 시간 알고리즘으로 비대칭 국소성 감지 해싱(Asymmetric Locality-Sensitive Hashing, ALSH)을 제안한다. 쿼리 및 데이터 벡터에 비대칭 변환을 적용함으로써 내적 최대화 문제를 변환된 공간에서의 근사 근접 이웃 검색으로 변환하여, 이론적 보장과 함께 넷플릭스 및 멜로우리언 데이터셋에서 뛰어난 경험적 성능을 달성한다.

ABSTRACT

We present the first provably sublinear time algorithm for approximate \emph{Maximum Inner Product Search} (MIPS). Our proposal is also the first hashing algorithm for searching with (un-normalized) inner product as the underlying similarity measure. Finding hashing schemes for MIPS was considered hard. We formally show that the existing Locality Sensitive Hashing (LSH) framework is insufficient for solving MIPS, and then we extend the existing LSH framework to allow asymmetric hashing schemes. Our proposal is based on an interesting mathematical phenomenon in which inner products, after independent asymmetric transformations, can be converted into the problem of approximate near neighbor search. This key observation makes efficient sublinear hashing scheme for MIPS possible. In the extended asymmetric LSH (ALSH) framework, we provide an explicit construction of provably fast hashing scheme for MIPS. The proposed construction and the extended LSH framework could be of independent theoretical interest. Our proposed algorithm is simple and easy to implement. We evaluate the method, for retrieving inner products, in the collaborative filtering task of item recommendations on Netflix and Movielens datasets.

연구 동기 및 목표

• 추천 시스템 및 머신러닝 분야에서 핵심 문제인 근사 최대 내적 검색(MIPS)을 위한 효율적이고 증명 가능하게 하위선형 시간 알고리즘이 부족한 문제를 해결하기 위해.
• 표준 국소성 감지 해싱(LSH)이 정규화되지 않은 내적과 다양한 벡터 노름으로 인해 MIPS에 부적합한 이유를 체계적으로 분석하기 위해.
• 쿼리 및 데이터 벡터에 대한 비대칭 변환을 허용함으로써 LSH 프레임워크를 확장하여 변환된 공간에서 거리 기반 검색을 통해 효율적인 MIPS를 가능하게 하기 위해.
• 기존 LSH 기반 방법(예: L2LSH)보다 뛰어난 성능을 보이며, 이론적으로 탄탄하고 구현이 간단한 MIPS를 위한 해싱 기법을 제공하기 위해.
• 넷플릭스 및 멜로우리언 데이터셋을 사용한 공동 필터링 작업에서 방법을 경험적으로 검증하여 정밀도와 재현율에서 뚜렷한 향상을 보여주기 위해.

제안 방법

• 쿼리 및 데이터 벡터에 대해 서로 다른 변환을 적용하는 표준 LSH 프레임워크의 확장인 비대칭 LSH(ALSH)를 제안한다.
• 비대칭 스케일링 하에서 내적의 수학적 성질을 활용하여 내적 최대화 문제를 변환된 공간에서의 근사 근접 이웃 검색 문제로 변환하는 새로운 변환을 도입한다.
• 고려된 매개변수를 갖춘 랜덤 프로젝션을 사용하여 해싱 함수를 구성함으로써 변환된 공간에서 높은 내적을 근접한 L2 거리로 유지한다.
• 해시 함수의 수 $K$, 프로젝션 차원 $m$, 스케일링 인자 $r$ 등의 매개변수를 사용하여 해싱 체계를 정의하고, 하위선형 쿼리 시간을 보장하는 이론적 분석을 수행한다.
• 쿼리 $q$ 와 데이터 벡터 $x$ 를 비대칭 함수로 변환한 후, 표준 LSH를 사용해 후보를 찾는 방식으로 MIPS에 적용한다.
• 매개변수 $m$, $U$, $r$ 를 경험적으로 최적화하며, $m=3$, $U=0.83$, $r=2.5$ 는 근사 최적 성능을 낳는다.

실험 결과

연구 질문

• RQ1 해싱을 사용하여 근사 최대 내적 검색(MIPS)을 위한 증명 가능하게 하위선형 시간 알고리즘을 설계할 수 있는가?
• RQ2 벡터의 노름이 크게 다를 경우, 표준 LSH 프레임워크가 왜 MIPS 해결에 부적합한가?
• RQ3 쿼리 및 데이터 벡터에 대한 비대칭 변환을 통해 내적 최대화 문제를 근사 근접 이웃 검색으로 환원함으로써 효율적인 MIPS를 달성할 수 있는가?
• RQ4 비대칭 변환 하에서 내적을 유지할 수 있는 수학적 성질은 무엇인가?
• RQ5 실제 데이터셋에서 기존의 LSH 기반 방법(예: L2LSH)과 비교할 때, 제안된 ALSH 방법은 검색 정확도와 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 넷플릭스 및 멜로우리언 데이터셋에서 모든 테스트된 상위-$T$ 검색 설정($T=1,5,10$)에서 ALSH 방법은 L2LSH보다 유의미하게 높은 정밀도와 재현율을 달성한다.
• 해시 함수 수 $K=512$ 일 때 ALSH 방법은 모든 테스트된 $r$ 값에서 L2LSH를 초월하는 근사 최적 성능을 보인다.
• $r=2.5$ 는 근사 최적 성능을 낳으며, 정밀도-재현율 곡선을 통해 이 값에서의 미세한 변동에도 강인함을 입증한다.
• 벡터의 노름이 다양함에도 불구하고 강인한 성능을 보이며, 아이템 벡터의 노름이 넓게 퍼져 있는 실세계 응용(예: 공동 필터링)에서 매우 중요하다.
• ALSH의 이론적 프레임워크는 일반적이며, 삼중 내적 검색 또는 이진 데이터 해싱과 같은 다른 유사도 측정법으로도 확장 가능할 수 있다.
• 경험적 결과는 ALSH가 MIPS에 대해 실용적이고 효율적이며 확장 가능한 솔루션을 제공함을 확인하며, 대규모 시스템에서 빠른 추천 및 객체 탐지 구현을 가능하게 한다.