[논문 리뷰] Sparsity Lower Bounds for Dimensionality Reducing Maps

Jelani Nelson, Huy L. Nguyên|arXiv (Cornell University)|2012. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 차원 압축 선형 변환에 대해 근사 최적의 희소성 하한을 확립한다. 이는 Johnson-Lindenstrauss 변환, 제한된 이sovmetry 성질(RIP) 행렬, 그리고 무작위 부분공간 임bedding을 포함한다. m = o(n / log(1/ε))일 때, 희소 JL 행렬은 열당 Ω(ε⁻¹ log n / log(1/ε))개의 비영원소를 가져야 하며, 최적의 행 수 m = O(k log(n/k))를 갖는 RIP 행렬은 열당 Ω(k log(n/k))개의 비영원소를 가져야 하므로, 이러한 구성에서 희소성은 본질적으로 제한됨을 보여준다.

ABSTRACT

We give near-tight lower bounds for the sparsity required in several dimensionality reducing linear maps. First, consider the JL lemma which states that for any set of n vectors in R there is a matrix A in R^{m x d} with m = O(eps^{-2}log n) such that mapping by A preserves pairwise Euclidean distances of these n vectors up to a 1 +/- eps factor. We show that there exists a set of n vectors such that any such matrix A with at most s non-zero entries per column must have s = Omega(eps^{-1}log n/log(1/eps)) as long as m < O(n/log(1/eps)). This bound improves the lower bound of Omega(min{eps^{-2}, eps^{-1}sqrt{log_m d}}) by [Dasgupta-Kumar-Sarlos, STOC 2010], which only held against the stronger property of distributional JL, and only against a certain restricted class of distributions. Meanwhile our lower bound is against the JL lemma itself, with no restrictions. Our lower bound matches the sparse Johnson-Lindenstrauss upper bound of [Kane-Nelson, SODA 2012] up to an O(log(1/eps)) factor. Next, we show that any m x n matrix with the k-restricted isometry property (RIP) with constant distortion must have at least Omega(klog(n/k)) non-zeroes per column if the number of the rows is the optimal value m = O(klog (n/k)), and if k < n/polylog n. This improves the previous lower bound of Omega(min{k, n/m}) by [Chandar, 2010] and shows that for virtually all k it is impossible to have a sparse RIP matrix with an optimal number of rows. Lastly, we show that any oblivious distribution over subspace embedding matrices with 1 non-zero per column and preserving all distances in a d dimensional-subspace up to a constant factor with constant probability must have at least Omega(d^2) rows. This matches one of the upper bounds in [Nelson-Nguyen, 2012] and shows the impossibility of obtaining the best of both of constructions in that work, namely 1 non-zero per column and Õ(d) rows.

연구 동기 및 목표

• 대규모 데이터 처리를 위한 차원 축소 선형 변환에서 희소성의 기본 한계를 이해하기 위해.
• 희소 Johnson-Lindenstrauss 변환에 대한 알려진 상한과 하한 사이의 격차를 메우기 위해.
• 최적의 행 수를 갖는 RIP 행렬이 일반 조건 하에서 희소가 될 수 없음을 보여주기 위해.
• 무작위 부분공간 임bedding에서 희소성과 행 수 사이의 상호 교환 관계를 해결하기 위해.
• 부분공간 임bedding에서 열당 1개의 비영원소와 Õ(d)개의 행을 동시에 갖는 구성이 불가능함을 보여주는 날카로운 하한을 제공하기 위해.

제안 방법

• n개의 벡터가 Rd에 존재하는 어려운 예제를 확률적 구성으로 만들고, Johnson-Lindenstrauss 행렬의 열 희소성에 대한 하한을 증명하기 위해 사용한다.
• 넷 팩킹과 커버링 수를 기반으로 한 추론을 적용하여, 최적의 행 수를 갖는 RIP 행렬에 대한 하한을 유도한다.
• 두 번째 모멘트 방법과 분산 분석을 활용하여, 희소 행렬이 d차원 부분공간의 벡터들의 ℓ₂ 노름을 유지할 확률을 근사한다.
• Johnson-Lindenstrauss 보조정리와 알려진 상한을 활용하여, 로그 인자까지 일치하는 하한을 도출한다.
• i.i.d. 원소를 {0, ±1/√s}에 갖는 OSNAP 유형 분포를 분석하여, 희소성과 행 수 사이의 상호 교환 관계를 확립한다.
• γ₂ 기능과 가우시안 폭을 사용하여 벡터 집합의 복잡도를 특성화하고, 필요한 행렬 차원에 대한 하한을 도출한다.

실험 결과

연구 질문

• RQ1 행 수가 최적보다 열등한 경우, 쌍별 거리를 1±ε의 왜곡으로 유지하기 위해 Johnson-Lindenstrauss 행렬에서 열당 최소 몇 개의 비영원소가 필요할까?
• RQ2 최적의 행 수 m = O(k log(n/k))를 갖는 제한된 이sovmetry 성질(RIP) 행렬이 k-희소 벡터에 대해 일정한 열 희소성을 달성할 수 있는가?
• RQ3 열당 하나의 비영원소와 Õ(d)개의 행을 갖는 무작위 부분공간 임bedding을 구성하여 d차원 부분공간 내 모든 ℓ₂ 노름을 유지할 수 있는가?
• RQ4 주어진 기하학적 복잡도를 갖는 벡터 집합을 임베딩하기 위한 OSNAP 유형 분포에서, 행 수와 열 희소성 사이의 상호 교환 관계는 무엇인가?
• RQ5 Johnson-Lindenstrauss 보조정리의 블랙박스 적용을 초월해, 차원 축소 변환의 희소성을 향상시킬 수 있는가?

주요 결과

• Johnson-Lindenstrauss 변환의 경우, m = o(n / log(1/ε))일 때, 쌍별 거리를 1±ε의 왜곡으로 유지하는 임의의 행렬은 열당 최소 Ω(ε⁻¹ log n / log(1/ε))개의 비영원소를 가져야 한다.
• 이 하한은 Kane와 Nelson(SODA 2012)의 희소 JL 상한과 O(log(1/ε)) 인자까지 일치하여, 근사 최적성임을 입증한다.
• 최적의 행 수 m = O(k log(n/k))를 갖는 RIP 행렬의 경우, k < n / polylog n일 때 열 희소성은 Ω(k log(n/k))여야 하므로, 이 영역에서는 희소성이 불가능함을 보여준다.
• 이 하한은 Chandar(2010)의 Ω(min{k, n/m})에서 Ω(k log(n/k))로 향상되었으며, 대부분의 k에 대해 최적의 행 수를 갖는 희소 RIP 행렬이 존재하지 않음을 보여준다.
• 열당 하나의 비영원소를 갖는 무작위 부분공간 임bedding의 경우, d차원 부분공간 내의 거리를 유지하기 위해 최소 Ω(d²)개의 행이 필요하므로, Õ(d)개의 행과 단일 열 희소성을 갖는 구성은 불가능하다.
• 이 논문은 부분공간 임bedding에서 열당 1개의 비영원소와 Õ(d)개의 행을 동시에 갖는 것이 불가능함을 보여주며, Nelson과 Nguyen(2012)가 제기한 핵심 열린 질문을 해결한다.