[논문 리뷰] Simple average-case lower bounds for approximate near-neighbor from isoperimetric inequalities

Yitong Yin|arXiv (Cornell University)|2016. 02. 17.

Face and Expression Recognition참고 문헌 17인용 수 3

한 줄 요약

이 논문은 고차원 히프링 공간에서 근사 근접 이웃(ANN) 문제를 해결하는 결정론적 또는 라스 베가스 랜덤화 알고리즘에 대해 평균 케이스 셀 프로브 하한을 처음으로 확립한다. 메트릭 공간에서 등형 불평등과 셀 샘플링을 통한 강화된 빈도 렘마를 연결하여, 기대 셀 프로브 복잡도에 대해 Ω(d / log(swγ²/(nd))) 하한을 증명하며, 이는 가장 강력한 알려진 최악 케이스 하한과 일치한다.

ABSTRACT

We prove an $Ω(d/\log \frac{sw}{nd})$ lower bound for the average-case cell-probe complexity of deterministic or Las Vegas randomized algorithms solving approximate near-neighbor (ANN) problem in $d$-dimensional Hamming space in the cell-probe model with $w$-bit cells, using a table of size $s$. This lower bound matches the highest known worst-case cell-probe lower bounds for any static data structure problems. This average-case cell-probe lower bound is proved in a general framework which relates the cell-probe complexity of ANN to isoperimetric inequalities in the underlying metric space. A tighter connection between ANN lower bounds and isoperimetric inequalities is established by a stronger richness lemma proved by cell-sampling techniques.

연구 동기 및 목표

• 결정론적 또는 라스 베가스 랜덤화 알고리즘에 대한 근사 근접 이웃(ANN) 검색에서 평균 케이스 복잡도 이해의 격차를 해소하기 위해.
• 균일하고 독립적인 입력 분포 하에서 고차원 히프링 공간에서 ANN에 대한 엄밀한 하한을 확립하기 위해.
• ANN의 셀 프로브 복잡도를 기본 메트릭 공간의 등형 성질과 연결하는 일반적 프레임워크를 개발하기 위해.
• 셀 샘플링을 통해 평균 케이스 설정으로의 빈도 렘마 기법을 확장하여 더 강력한 하한을 도출하기 위해.
• ANN의 평균 케이스 영역에서 가장 높은 알려진 최악 케이스 셀 프로브 하한과 일치시키기 위해.

제안 방법

• ANN의 셀 프로브 복잡도가 메트릭 공간에서 등형 불평등과 연결되는 일반적 프레임워크를 수식적으로 정의한다.
• 셀 샘플링 기법을 통해 변수 쿼리 시간을 다룰 수 있는 강화된 빈도 렘마를 도입한다.
• 균일한 입력 분포를 가진 데이터베이스와 쿼리에 대해 d차원 히프링 공간 {0,1}^d에 이 프레임워크를 적용한다.
• 체르노프 불등식과 헤이퍼의 정리를 사용하여 균일 측도 하에서 λ-근접 영역의 확산 성질을 확립한다.
• 확산 성질과 일반화된 빈도 렘마를 조합하여, 기대 셀 프로브에 대해 Ω(d / log(swγ²/(nd))) 하한을 유도한다.
• 특정 매개변수 영역 하에서 무거운 尾 꼬리 좌표를 가진 분포 μ를 사용하여 ℓ∞-노름 공간으로 접근을 확장하며, sw = n^{Ω(ρ/t)} 하한을 증명한다.

실험 결과

연구 질문

• RQ1 결정론적 또는 라스 베가스 랜덤화 알고리즘에 대해 근사 근접 이웃 검색에서 엄밀한 평균 케이스 셀 프로브 하한을 확립할 수 있는가?
• RQ2 ANN의 셀 프로브 복잡도는 기저 메트릭 공간의 등형 성질과 어떻게 관련이 있는가?
• RQ3 빈도 렘마 기법은 쿼리 시간이 입력에 따라 변하는 평균 케이스 복잡도에 어떻게 적응시킬 수 있는가?
• RQ4 균일한 입력 분포 하에서 고차원 히프링 공간에서 ANN의 공간, 워드 크기, 쿼리 시간 간 최적의 트레이드오프는 무엇인가?
• RQ5 이 프레임워크는 비균일 입력 분포를 가진 ℓ∞와 같은 다른 노름으로 확장될 수 있는가?

주요 결과

• 결정론적 또는 라스 베가스 랜덤화 알고리즘에 대해 d차원 히프링 공간에서 (γ,λ)-ANN 문제를 해결하는 데 기대 셀 프로브 복잡도에 대해 Ω(d / log(swγ²/(nd))) 하한이 확립되었다.
• 이 하한은 정적 데이터 구조 문제에 대해 알려진 가장 강력한 최악 케이스 하한과 일치하며, 평균 케이스 복잡도에 대한 오랫동안 남아있던 격차를 메웠다.
• 프레임워크는 균일 측도 하에서 히프링 공간의 λ-근접 영역가 Φ=Ψ=2^{Ω(d/γ²)}인 (Φ,Ψ)-확산성을 가지며, 이는 등형 이론을 통한 강력한 하한 도출을 가능하게 한다.
• 특정 중량이 있는 무거운 꼬리 좌표를 가진 분포 μ를 가진 ℓ∞-노름 공간에 대해, t ≤ ρ 이고 w ≤ n^{1−2δ} 인 조건 하에서 sw = n^{Ω(ρ/t)} 하한이 도출되었다.
• 결과는 조건부로 공간이 n에 대해 초다항적으로 증가하지 않는 한, 랜덤화와 근사화가 가능하더라도 고차원에서 ANN이 여전히 어렵다는 것을 보여준다.
• 셀 샘플링과 강화된 빈도 렘마를 통한 증명 기법은 쿼리 시간이 변하는 알고리즘에 대해 평균 케이스 하한을 처음으로 도출하며, 이는 이전에 고정된 최악 케이스 복잡도에 국한된 연구를 확장한다.