[논문 리뷰] Fast Cross-Polytope Locality-Sensitive Hashing

Christopher Kennedy, Rachel Ward|arXiv (Cornell University)|2016. 02. 22.

Advanced Image and Video Retrieval Techniques인용 수 1

한 줄 요약

이 논문은 각도 거리에 대한 크로스폴리토프 LSH의 빠른 변종을 제안한다. 밀도 높은 가우시안 행렬을 빠른 존슨-린든스트라우스 변환과 이산 가짜 로테이션으로 대체하여 해시 계산 시간을 𝒪(d²)에서 𝒪(d ln d)로 감소시키며, 최적의 渐近 감도를 유지하고 감도에 대한 최적 수렴 속도를 달성한다. 또한 저난무성 JL 변환을 사용하여 난수 사용량을 𝒪(ln⁹ d)로 줄였다.

ABSTRACT

We provide a variant of cross-polytope locality sensitive hashing with respect to angular distance which is provably optimal in asymptotic sensitivity and enjoys $\mathcal{O}(d \ln d )$ hash computation time. Building on a recent result (by Andoni, Indyk, Laarhoven, Razenshteyn, Schmidt, 2015), we show that optimal asymptotic sensitivity for cross-polytope LSH is retained even when the dense Gaussian matrix is replaced by a fast Johnson-Lindenstrauss transform followed by discrete pseudo-rotation, reducing the hash computation time from $\mathcal{O}(d^2)$ to $\mathcal{O}(d \ln d )$. Moreover, our scheme achieves the optimal rate of convergence for sensitivity. By incorporating a low-randomness Johnson-Lindenstrauss transform, our scheme can be modified to require only $\mathcal{O}(\ln^9(d))$ random bits

연구 동기 및 목표

• 각도 거리에 대한 크로스폴리토프 LSH의 계산 비용을 줄이되, 최적의 渐近 감도를 유지하기 위해.
• 밀도 높은 가우시안 행렬을 빠른 존슨-린든스트라우스 변환과 이산 가짜 로테이션으로 대체하여 더 빠른 해시 계산을 달성하기 위해.
• 새로운 방법에서 감도에 대한 수렴 속도가 최적 수준을 유지하기 위해.
• 저난무성 존슨-린든스트라우스 변환을 사용하여 난수 사용량을 줄여 𝒪(ln⁹ d)의 난수 비트로 줄이기 위해.

제안 방법

• 크로스폴리토프 LSH에서 밀도 높은 가우시안 행렬을 빠른 존슨-린든스트라우스 변환으로 대체하여 투영 계산 속도를 향상시키기 위해.
• 크로스폴리토프 LSH에 필요한 구조를 유지하기 위해 변환된 벡터에 이산 가짜 로테이션을 적용하기 위해.
• 최근의 결과(Andoni 등, 2015)를 활용하여 변환에도 불구하고 감도가 渐近적으로 최적이 되도록 증명하기 위해.
• 저난무성 존슨-린든스트라우스 변환을 사용하여 난수 비트 수를 𝒪(ln⁹ d)로 줄이기 위해.
• 결과로 도출된 해시 함수가 국소 감지 해시를 위해 요구하는 각도 거리 성질을 유지하도록 보장하기 위해.
• 새로운 방법이 감도에 대한 최적 수렴 속도를 달성하며 이론적 하한선과 일치함을 증명하기 위해.

실험 결과

연구 질문

• RQ1 크로스폴리토프 LSH의 계산 비용을 𝒪(d²)에서 𝒪(d ln d)로 줄일 수 있을까? 이때 渐近 감도가 손상되지 않는가?
• RQ2 밀도 높은 가우시안 행렬을 빠른 존슨-린든스트라우스 변환과 이산 가짜 로테이션으로 대체하면 크로스폴리토프 LSH에서 최적 감도가 유지되는가?
• RQ3 새로운 방법에서 감도에 대한 수렴 속도가 최적 수준을 유지할 수 있는가?
• RQ4 빠른 LSH 변종에서 최적 감도를 달성하기 위해 필요한 최소 난수 비트 수는 얼마인가?

주요 결과

• 제안된 방법은 해시 계산 시간을 𝒪(d²)에서 𝒪(d ln d)로 줄여 고차원 데이터에 대해 상당한 속도 향상을 달성한다.
• 이 방법은 최적의 渐近 감도를 유지하며 크로스폴리토프 LSH의 이론적 하한선과 일치한다.
• 감도에 대한 수렴 속도가 최적이므로, 차원이 증가함에 따라 최적의 성능으로 수렴한다.
• 저난무성 존슨-린든스트라우스 변환을 사용함으로써 난수 사용량을 𝒪(ln⁹ d)의 난수 비트로 줄여 실용적 효율성을 향상시켰다.