[논문 리뷰] On Symmetric and Asymmetric LSHs for Inner Product Search

Behnam Neyshabur, Nathan Srebro|arXiv (Cornell University)|2014. 10. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 59

한 줄 요약

이 논문은 쿼리가 정규화되고 데이터베이스 벡터가 유계일 때, 최대 내적 검색(MIPS)을 위한 대칭적 로컬리티 감지 해싱(LSH) 체계—간단한-lsh(simple-lsh)—를 구성할 수 있음을 보여준다. 이는 Shrivastava와 Li(2014a)가 제안한 비대칭 LSH보다 성능이 뛰어나며, 핵심 기여는 이 설정에서 비대칭성이 불필요하다는 것을 증명한 것이다. 간단한-lsh는 파라미터가 없고, 보편적으로 적용 가능하며, 이론적·실험적으로 이전의 비대칭 접근보다 뛰어나다.

ABSTRACT

We consider the problem of designing locality sensitive hashes (LSH) for inner product similarity, and of the power of asymmetric hashes in this context. Shrivastava and Li argue that there is no symmetric LSH for the problem and propose an asymmetric LSH based on different mappings for query and database points. However, we show there does exist a simple symmetric LSH that enjoys stronger guarantees and better empirical performance than the asymmetric LSH they suggest. We also show a variant of the settings where asymmetry is in-fact needed, but there a different asymmetric LSH is required.

연구 동기 및 목표

• 최대 내적 검색(MIPS)에 대해 대칭적 또는 비대칭적 LSH가 더 낫다는 논쟁을 해결하기 위해.
• 내적 유사도에 대해 대칭적 또는 비대칭적 LSH가 이론적으로 가능한 조건을 명확히 하기 위해.
• 보편적이고, 파라미터가 없으며, 이론적·실제 성능에서 기존 비대칭 LSH보다 뛰어난 새로운 대칭 LSH(simple-lsh)를 제안하기 위해.
• 쿼리가 정규화되고 데이터가 유계일 때 MIPS에 대해 비대칭성이 필수적이라는 오해를 바로잡기 위해.
• 비대칭성이 실제로 필요한 영역을 규명하고, 그 경우에 대해 올바른 비대칭 LSH를 제공하기 위해.

제안 방법

• 내적과 단위 노름을 유지하는 임bedding을 사용하는 대칭 LSH인 simple-lsh를 제안한다.
• 변환 $ P(x) = [x; \sqrt{1 - \|x\|_2^2}; 0] $ 과 $ Q(y) = [y; 0; \sqrt{1 - \|y\|_2^2}] $ 를 사용하여 $ P(x)^\top Q(y) = x^\top y $ 이고 $ \|P(x)\| = \|Q(y)\| = 1 $ 임을 보장한다.
• 랜덤 초평면을 통해 $ h_a(z) = \text{sign}(a^\top z) $ 를 사용하여 이진 해시 코드를 생성한다.
• 충돌 확률 $ \mathbb{P}[h_a(P(x)) = h_a(Q(y))] = 1 - \frac{\cos^{-1}(x^\top y)}{\pi} $ 이 내적에 대해 단조롭게 증가함을 증명하여 ALSH 성질을 만족함을 보인다.
• 기존 비대칭 LSH들(l2-alsh(sl) 및 sign-alsh(sl))의 이론적 한계를 분석하여, 유계 노름 조건 하에서도 보편적인 ALSH가 아니라는 것을 보여준다.
• 전체 $ \mathbb{R}^d $ 상에서 대칭 또는 비대칭 LSH가 존재하지 않음을 증명하지만, 유계이면서 정규화된 설정에서는 둘 다 가능하다는 것을 밝힌다.

실험 결과

연구 질문

• RQ1 쿼리가 정규화되고 데이터베이스 벡터가 유계일 때, 내적 유사도에 대해 대칭 LSH가 가능할 수 있는가?
• RQ2 정규화된 쿼리와 유계 데이터를 가진 표준 MIPS 설정에서 비대칭성이 이론적 또는 실용적 이점이 있는가?
• RQ3 Shrivastava와 Li(2014a)가 제안한 비대칭 LSH들은 보편적으로 적용 가능한가, 아니면 문제에 맞는 튜닝이 필요한가?
• RQ4 내적 검색에 대해 비대칭 LSH가 진정으로 필요한 조건은 무엇인가?
• RQ5 MIPS에 대해 대칭적이며, 파라미터가 없고 보편적으로 적용 가능한 LSH를 구성할 수 있는가?

주요 결과

• 쿼리가 정규화되고 데이터베이스 벡터가 유계일 때, 대칭 LSH인 simple-lsh가 존재하며 보편적으로 적용 가능하며, 비대칭성이 필수적이라는 주장과 모순된다.
• simple-lsh는 파라미터가 없고, Shrivastava와 Li(2014a)가 제안한 비대칭 l2-alsh(sl) 및 sign-alsh(sl)보다 이론적 보장과 실험적 성능에서 뛰어나다.
• l2-alsh(sl) 및 sign-alsh(sl)는 보편적인 ALSH가 아니다: 유계 및 정규화 조건 하에서도 요구되는 충돌 확률 조건을 만족하지 못한다.
• 내적의 범위가 무한하기 때문에 전체 $ \mathbb{R}^d $ 상에서는 대칭 또는 비대칭 LSH가 존재하지 않는다.
• 쿼리와 데이터 벡터가 모두 유계이지만 쿼리가 정규화되어 있지 않은 경우, 대칭 LSH는 불가능하지만, 보편적인 비대칭 LSH(simple-alsh)는 구성할 수 있다.
• 논문은 비대칭성이 진정으로 필요한 경우는 유계이지만 정규화되지 않은 설정이며, 이 경우에 대해 정확한 비대칭 LSH를 제공한다.