[논문 리뷰] Approximate Nearest Neighbor Search in $\ell_p$

Huy L. Nguyên|arXiv (Cornell University)|2013. 06. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 8인용 수 3

한 줄 요약

이 논문은 1 < p < 2 인 ℓₚ 공간에서 근사 최근접 이웃 검색을 위한 새로운 국소 감지 해싱(LSH) 체계를 제안하며, 쿼리 시간 O(dn^ρ)와 공간 O(dn + n^{1+ρ})를 달성한다. 여기서 ρ = O((ln c)² / c^p)이며, 이는 이전의 ρ ≤ 1/c 한계를 향상시키고 이론적 하한 ρ ≥ 1/c^p에 가까워진다.

ABSTRACT

We present a new locality sensitive hashing (LSH) algorithm for $c$-approximate nearest neighbor search in $\ell_p$ with $1

연구 동기 및 목표

• 1 < p < 2 인 ℓₚ 근사 최근접 이웃 검색에서 알려진 상한과 이론적 하한 사이의 격차를 메우기.
• Datar 등(2004)이 제시한 이전의 ρ ≤ 1/c 한계를 초월하는 단순하고 일반화 가능한 LSH 프레임워크 개발.
• O’Donnell, Wu, and Zhou(2011)가 확립한 정보 이론적 하한 ρ ≥ 1/c^p에 가까운 ρ를 달성하기.
• Andoni와 Indyk(2006)의 ℓ₂ LSH 접근법을 1 < p < 2 인 ℓₚ로 일반화하기 위해 p-안정 분포와 격자 기반 분할을 사용하기.

제안 방법

• d차원 ℓₚ 점들을 t차원 공간으로 투영하기 위해 p-안정 분포를 사용하며, 여기서 t = Θ((c ln c)^p)로 설정하여 상대적 거리의 기대치를 유지한다.
• 간격 Δw = 4w인 격자 Lₜ에 무작위 이동을 적용하여 t차원 공간을 덮는 이동된 격자를 생성한다. 여기서 w = O(c ln c)이다.
• 해싱 함수를 (u, y)의 쌍으로 정의하며, u는 이동된 격자를 식별하고, y는 투영된 점이 반경 w인 ℓₚ 구 안에 포함되는 가장 가까운 격자 점이다.
• p-안정 분포의 농도 경계를 활용하여 차원 감소 과정에서 거리가 높은 확률로 유지됨을 보장한다.
• ℓₚ 구 내에서 부피 분석을 통해 가까운 점들(‖x−y‖ₚ ≤ 1)과 먼 점들(‖x−y‖ₚ ≥ c)의 충돌 확률을 근사한다.
• 충돌 확률 p₁(가까운 쌍), p₂(먼 쌍)에 대해 비율 ln(1/p₁)/ln(1/p₂)을 통해 ρ를 유도한다.

실험 결과

연구 질문

• RQ1 1 < p < 2 인 ℓₚ 근사 최근접 이웃 검색에서 ρ 매개변수를 이전 상한 ρ ≤ 1/c를 초월하여 향상시킬 수 있는가?
• RQ2 Andoni와 Indyk(2006)의 ℓ₂ LSH 프레임워크는 1 < p < 2 인 ℓₚ로 얼마나 일반화될 수 있는가?
• RQ3 단순하고 분석 가능한 LSH 구조를 통해 정보 이론적 하한 ρ ≥ 1/c^p에 가까운 ρ를 달성할 수 있는가?
• RQ4 고차원 ℓₚ 공간에서 격자 분할 하에 ℓₚ 구의 부피 추정치와 그 교차 영역은 충돌 확률에 어떤 영향을 미치는가?

주요 결과

• 제안된 LSH는 1 < p < 2 인 ℓₚ에서 ρ = O((ln c)² / c^p)를 달성하여 이전 상한 ρ ≤ 1/c를 향상시킨다.
• ρ = O((ln c)² / c^p)의 이론적 하한 ρ ≥ 1/c^p에 점점 가까워지며, 알려진 상한과 하한 사이의 격차를 좁힌다.
• 구성은 p-안정 투영과 격자 기반 분할을 조합하며, 공간을 고확률로 덮기 위해 Uₜ = Δ^t t^{t/p + 1} ln(Δt/δ)개의 격자를 사용한다.
• 분석 결과, 고확률로 가까운 점들(‖x−y‖ₚ ≤ 1)의 투영된 거리는 O(ε⁻¹)의 요소 내에서 유지되며, 먼 쌍들(‖x−y‖ₚ ≥ c)은 고확률로 분리된다.
• 가까운 쌍의 충돌 확률은 ℓₚ 구의 부피 비교를 통해 근사되며, 작은 γ에 대해 ln(1/p₁) ≤ O((2+γ) t / (p (2εw)^p))로 유계가 된다.
• 먼 쌍의 충돌 확률은 ℓₚ 노름의 균일한 볼록성과 미끄러움을 이용해 유계가 되며, ln(1/p₂) ≥ (1−o(1)) (p−1) t c² / (8w²)로 유도되며, 이는 ρ 비율을 지배한다.