[논문 리뷰] Lower Bounds on Time-Space Trade-Offs for Approximate Near Neighbors

Alexandr Andoni, Thijs Laarhoven외 2명|arXiv (Cornell University)|2016. 05. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 62인용 수 4

한 줄 요약

이 논문은 고차원 공간에서 근사 근접 이웃(ANN) 문제에 대한 시간-공간 트레이드오프에 대해 날카롭고 조건 없는 하한을 확립하며, 해싱 기반 접근 방식이 본질적으로 제한됨을 보여준다. 문제를 국소적으로 복원 가능한 코드(LDCs)와 연결함으로써, 한 번과 두 번의 프로브에 대해 최적의 공간 및 쿼리 시간 트레이드오프를 도출하고, 이전 기법을 통해 전체 유클리드 공간으로 확장한다.

ABSTRACT

We show tight lower bounds for the entire trade-off between space and query time for the Approximate Near Neighbor search problem. Our lower bounds hold in a restricted model of computation, which captures all hashing-based approaches. In articular, our lower bound matches the upper bound recently shown in [Laarhoven 2015] for the random instance on a Euclidean sphere (which we show in fact extends to the entire space $\mathbb{R}^d$ using the techniques from [Andoni, Razenshteyn 2015]). We also show tight, unconditional cell-probe lower bounds for one and two probes, improving upon the best known bounds from [Panigrahy, Talwar, Wieder 2010]. In particular, this is the first space lower bound (for any static data structure) for two probes which is not polynomially smaller than for one probe. To show the result for two probes, we establish and exploit a connection to locally-decodable codes.

연구 동기 및 목표

• 고차원 공간에서 근사 근접 이웃(ANN) 문제에 대한 시간-공간 트레이드오프에 대해 날카롭고 조건 없는 하한을 확립하는 것.
• 해싱 기반 ANN 데이터 구조에 대한 알려진 상한과 하한 사이의 격차를 메우는 것.
• 최근 유클리드 구면에서 랜덤 인스턴스에 대해 확보된 상한이 전체 공간 ℝᵈ로 확장됨을 보여주는 것.
• 한 번 프로브보다 다항식으로 작은 공간 하한이 아닌 두 번 프로브 데이터 구조에 대한 최초의 공간 하한을 제공하는 것.
• ANN과 국소적으로 복원 가능한 코드(LDCs) 사이의 새로운 연결 고리를 확립하여 날카로운 하한을 도출하는 것.

제안 방법

• 모든 해싱 기반 접근 방식을 포괄하는 제한된 계산 모델을 개발하여 공식적인 하한 분석을 가능하게 한다.
• 셀-프로브 모델을 사용하여 한 번 및 두 번 프로브 데이터 구조에 대해 날카로운 하한을 도출하며, 이는 이전 작업을 향상시킨다.
• ANN 문제와 국소적으로 복원 가능한 코드(LDCs) 사이의 연결 고리를 확립하여, LDCs를 활용해 강력한 하한을 유도한다.
• 기존 연구 [AR15]의 기법을 적용하여, 구면에서의 하한을 전체 유클리드 공간 ℝᵈ로 확장한다.
• 적응형에서 비적응형으로의 감소 기법을 사용하여, 적응형 쿼리 전략에서 비적응형 쿼리 전략으로 결과를 확장한다.
• 랜덤 입력에 대한 확률적 분석과 기대값 계산을 활용하여 성공 확률을 근사하고 하한을 도출한다.

실험 결과

연구 질문

• RQ1 고차원 공간에서 근사 근접 이웃 검색에 대해 가능한 가장 날카로운 시간-공간 트레이드오프는 무엇인가?
• RQ2 한 번 프로브의 하한 수준에 도달하는 두 번 프로브 데이터 구조에 대해 조건 없는 하한을 확립할 수 있는가?
• RQ3 ANN 문제와 국소적으로 복원 가능한 코드(LDCs) 사이에 본질적인 연결 고리가 존재하는가?
• RQ4 유클리드 구면에서 랜덤 인스턴스에 대한 하한을 전체 공간 ℝᵈ로 확장할 수 있는가?
• RQ5 해싱 기반 ANN 데이터 구조에 대해 공간과 쿼리 시간 사이의 최적 트레이드오프는 무엇인가?

주요 결과

• 논문은 한 번 및 두 번 프로브에 대해 날카로운 조건 없는 셀-프로브 하한을 확립하며, 두 번 프로브의 공간 하한이 한 번 프로브의 하한보다 다항식으로 작게 되지 않음을 보여준다.
• 이 하한은 [Laa15c]에서 알려진 랜덤 인스턴스에 대한 최고의 상한과 일치하며, 이 결과는 전체 공간 ℝᵈ로도 확장된다.
• 논문은 두 번의 쿼리를 수행하는 모든 데이터 구조에 대해, 주어진 근사 인자에 대해 공간 요구량이 Ω(n^{1/σ² - o(1)})임을 증명하며, 이는 알려진 상한과 일치한다.
• 국소적으로 복원 가능한 코드(LDCs)와의 새로운 연결 고리를 확립하여, LDC의 강건성 및 확장 성질을 활용해 날카로운 하한을 도출할 수 있게 되었다.
• 적응형에서 비적응형 쿼리로의 감소는 적응형 알고리즘이 성공 확률 측면에서 비적응형 알고리즘을 크게 뛰어넘을 수 없음을 보여주며, 하한의 강도를 유지한다.
• 결과적으로 모든 해싱 기반 ANN 접근 방식이 유도된 트레이드오프에 의해 본질적으로 제한됨을 시사하며, 이러한 접근 방식은 확립된 하한을 뛰어넘을 수 없다.