[논문 리뷰] Optimal lower bounds for locality sensitive hashing (except when q is tiny)

Ryan O’Donnell, Yi Wu외 1명|ArXiv.org|2009. 12. 01.

Advanced Image and Video Retrieval Techniques인용 수 3

한 줄 요약

이 논문은 해밍 공간 $\{0,1\}^d$ 내에서 국소성에 민감한 해싱(LSH)에 대해 표준 가정 하에 $q$ 가 0에서 멀리 떨어져 있음을 전제로 하여 최적의 하한 $\rho \geq 1/c - o_d(1)$을 확립한다 (즉, $2^{-\Theta(d)}$가 아님). 증명은 부울 함수의 노이즈 안정성의 로그-볼록성에 기반하며, 이전에 알려진 하한 $\sim 0.46/c$ 가 최적임을 초과하고 있음을 보이며, Indyk와 Motwani가 제시한 $\rho \leq 1/c$ 의 상한이 하위항을 제외하고는 정확히 타당하다는 것을 보여준다.

ABSTRACT

We study lower bounds for Locality Sensitive Hashing (LSH) in the strongest setting: point sets in {0,1}^d under the Hamming distance. Recall that here H is said to be an (r, cr, p, q)-sensitive hash family if all pairs x, y in {0,1}^d with dist(x,y) at most r have probability at least p of collision under a randomly chosen h in H, whereas all pairs x, y in {0,1}^d with dist(x,y) at least cr have probability at most q of collision. Typically, one considers d tending to infinity, with c fixed and q bounded away from 0. For its applications to approximate nearest neighbor search in high dimensions, the quality of an LSH family H is governed by how small its "rho parameter" rho = ln(1/p)/ln(1/q) is as a function of the parameter c. The seminal paper of Indyk and Motwani showed that for each c, the extremely simple family H = {x -> x_i : i in d} achieves rho at most 1/c. The only known lower bound, due to Motwani, Naor, and Panigrahy, is that rho must be at least .46/c (minus o_d(1)). In this paper we show an optimal lower bound: rho must be at least 1/c (minus o_d(1)). This lower bound for Hamming space yields a lower bound of 1/c^2 for Euclidean space (or the unit sphere) and 1/c for the Jaccard distance on sets; both of these match known upper bounds. Our proof is simple; the essence is that the noise stability of a boolean function at e^{-t} is a log-convex function of t.

연구 동기 및 목표

• 해밍 공간 내 LSH에 대해 알려진 상한 $\rho \leq 1/c$ 와 이전 하한 $\sim 0.46/c$ 사이의 격차를 메우는 것.
• Indyk와 Motwani가 제시한 $\rho \leq 1/c$ 가 $q$ 가 0에서 멀리 떨어져 있을 경우 점점 최적임을 입증하는 것.
• 부울 함수의 노이즈 안정성의 로그-볼록성에 기반한 깔끔하고 개념적인 증명을 제공하는 것.
• LSH 품질을 정확히 반영하는 $q$ 의 범위를 명확히 하여, $q$ 가 지수적으로 작은 경우(예: $2^{-\Theta(d)}$)와 같은 비정상적인 경우를 배제하는 것.

제안 방법

• 노이즈 안정성이 $e^{-t}$ 에서의 부울 함수에 대해 $t$ 에 대해 로그-볼록임을 보여, 하한 증명의 핵심이 된다.
• 해시 함수의 분포를 구성하고, 거리 $r$ 과 $cr$ 에 있는 쌍의 충돌 확률을 농도 기준으로 분석한다.
• Chernoff 부등식을 사용하여 이항 랜덤 변수의 테일 확률 $e_1$ 과 $e_2$ 를 추정하며, 해밍 무게와 관련된 편차를 측정한다.
• 오차 항을 제어하기 위해 매개변수 $\Delta$ 를 도입하고, 총 오차 $e$ 를 최소화하기 위해 $\Delta$ 에 대해 최적화한다.
• 이 하한이 $q$ 가 매우 작지 않은 조건(즉, $2^{-\Theta(d)}$ 가 아님)에서 성립함을 보이며, 이는 $\rho = 0$ 이 되는 비정상적인 구성 방지를 위해 필수적이다.
• 결과는 유클리드 공간과 자카르 거리로 확장되어 각각 $\rho \geq 1/c^2$ 와 $\rho \geq 1/c$ 를 도출하며, 이는 알려진 상한과 일치한다.

실험 결과

연구 질문

• RQ1 해밍 공간 내 LSH에 대해 $\rho \leq 1/c$ 의 상한이 타당한가, 아니면 더 작은 $\rho$ 를 달성할 수 있는가?
• RQ2 이전 하한 $\sim 0.46/c$ 는 향상될 수 있으며, 만약 그렇다면 얼마나 향상될 수 있는가?
• RQ3 $q$ 가 매우 작을 경우(예: $2^{-\Theta(d)}$) $\rho$ 가 LSH 품질을 정확히 반영하는가?
• RQ4 노이즈 안정성의 성질에 기반한 깔끔하고 구조적인 증명을 통해 $1/c$ 상한의 최적성은 입증될 수 있는가?
• RQ5 $q$ 가 0에서 멀리 떨어져 있을 경우 $c$ 에 대한 $\rho$ 의 올바른 점근 하한은 무엇인가?

주요 결과

• 논문은 해밍 거리 하에서 $\{0,1\}^d$ 내 LSH에 대해 $\rho \geq 1/c - o_d(1)$ 의 날카운 하한을 확립하며, Indyk와 Motwani의 상한과 일치한다.
• 이 하한은 $q$ 가 지수적으로 작지 않은 조건에서 성립한다 (즉, $q = 2^{-o(d)}$), 이는 $\rho$ 가 LSH 품질에 의미가 있을 때의 영역이다.
• 증명 기법은 부울 함수의 노이즈 안정성의 로그-볼록성에 기반하며, LSH 하한에 대한 새로운 개념적 접근법이다.
• 유클리드 공간의 경우 결과는 $\rho \geq 1/c^2$ 를 암시하며, 알려진 상한과 일치하고 격차를 메운다.
• 집합에 대한 자카르 거리의 경우 하한은 $\rho \geq 1/c$ 를 도출하며, 알려진 상한과 일치한다.
• 논문은 이전 하한 $\sim 0.46/c$ 가 최적임을 초과하고 있으며, $1/c$ 가 올바른 점근적 한계임을 보여준다.