[논문 리뷰] OSNAP: Faster numerical linear algebra algorithms via sparser subspace embeddings

Jelani Nelson, Huy L. Nguyên|arXiv (Cornell University)|2012. 11. 05.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 23

한 줄 요약

이 논문은 임bedding 차원 $ m $ 와 희소성 $ s $ 사이의 최적 균형을 달성함으로써 더 빠른 수치선형대수 알고리즘을 가능하게 하는 새로운 옹성 희소 노름 근사 투영인 OSNAP을 소개한다. $ m = \tilde{O}(d/\varepsilon^2) $ 와 $ s = \mathrm{polylog}(d)/\varepsilon $ 를 갖는 첫 번째 OSE 구성법을 제시하며, 이는 이전의 경계를 크게 향상시키면서도 스트리밍 응용 프로그램에서 효율성을 유지하기 위해 $ O(1) $-wise 또는 $ O(\log d) $-wise 독립성을 유지한다.

ABSTRACT

An "oblivious subspace embedding (OSE)" given some parameters eps,d is a distribution D over matrices B in R^{m x n} such that for any linear subspace W in R^n with dim(W) = d it holds that Pr_{B ~ D}(forall x in W ||B x||_2 in (1 +/- eps)||x||_2) > 2/3 We show an OSE exists with m = O(d^2/eps^2) and where every B in the support of D has exactly s=1 non-zero entries per column. This improves previously best known bound in [Clarkson-Woodruff, arXiv:1207.6365]. Our quadratic dependence on d is optimal for any OSE with s=1 [Nelson-Nguyen, 2012]. We also give two OSE's, which we call Oblivious Sparse Norm-Approximating Projections (OSNAPs), that both allow the parameter settings m = Õ(d/eps^2) and s = polylog(d)/eps, or m = O(d^{1+gamma}/eps^2) and s=O(1/eps) for any constant gamma>0. This m is nearly optimal since m >= d is required simply to no non-zero vector of W lands in the kernel of B. These are the first constructions with m=o(d^2) to have s=o(d). In fact, our OSNAPs are nothing more than the sparse Johnson-Lindenstrauss matrices of [Kane-Nelson, SODA 2012]. Our analyses all yield OSE's that are sampled using either O(1)-wise or O(log d)-wise independent hash functions, which provides some efficiency advantages over previous work for turnstile streaming applications. Our main result is essentially a Bai-Yin type theorem in random matrix theory and is likely to be of independent interest: i.e. we show that for any U in R^{n x d} with orthonormal columns and random sparse B, all singular values of BU lie in [1-eps, 1+eps] with good probability. Plugging OSNAPs into known algorithms for numerical linear algebra problems such as approximate least squares regression, low rank approximation, and approximating leverage scores implies faster algorithms for all these problems.

연구 동기 및 목표

• 임베딩 차원 $ m $ 와 희소성 $ s $ 사이의 최적 균형을 달성하는 더 빠른 수치선형대수 알고리즘을 설계하기 위해, 더 희소한 옹성 하위공간 임bedding(OSE)를 구성하는 것.
• $ m = \tilde{O}(d/\varepsilon^2) $ 와 $ s = \mathrm{polylog}(d)/\varepsilon $ 를 달성하여, 이전의 $ m = O(d^2/\varepsilon^2) $ 와 $ s = 1 $ 인 구성법보다 향상된 결과를 얻는 것.
• 스트리밍 및 타임스탬프 스트리밍과 같은 응용 분야에서 효율성을 확보하기 위해, $ O(1) $-wise 또는 $ O(\log d) $-wise 독립적인 해시 함수를 사용하여 OSE를 구성하는 것.
• 임의 행렬 이론에서 새로운 Bai-Yin 유형의 정리를 제시하여, 임의의 정규직교 행렬 $ U \in \mathbb{R}^{n \times d} $ 에 대해 $ \Pi U $ 의 모든 특이값이 높은 확률로 $ [1-\varepsilon, 1+\varepsilon] $ 에 속한다는 것을 증명하는 것.
• 최근 알고리즘에 새로운 임bedding을 적용하여 최소 제곱 회귀, 낮은 질량 근사, 리지드 스코어 추정과 같은 기본적인 수치선형대수 문제의 실행 시간을 단축시키는 것.

제안 방법

• 각 열에 비제로 원소가 $ s = 1 $ 개인 희소 Johnson-Lindenstrauss 행렬로 OSNAP을 구성하여, $ m = O(d^2/\varepsilon^2) $ 를 달성하며, 이는 $ s = 1 $ 인 경우 최적이다.
• 두 가지 새로운 OSE 구성법을 제안한다: 하나는 $ m = \tilde{O}(d/\varepsilon^2) $, $ s = \mathrm{polylog}(d)/\varepsilon $ 이며, 다른 하나는 $ m = O(d^{1+\gamma}/\varepsilon^2) $, $ s = O(1/\varepsilon) $ (모든 $ \gamma > 0 $ 에 대해) 이며, 둘 다 거의 최적의 $ m $ 를 달성한다.
• 스트리밍 및 분산 환경에서의 효율적 구현을 위해, $ O(1) $-wise 또는 $ O(\log d) $-wise 독립적인 해시 함수를 사용하여 임bedding 행렬을 샘플링한다.
• 새로운 Bai-Yin 유형의 결과를 증명한다: 임의의 정규직교 행렬 $ U \in \mathbb{R}^{n \times d} $ 에 대해, $ \Pi U $ 의 특이값은 높은 확률로 $ [1-\varepsilon, 1+\varepsilon] $ 에 속하며, 이는 OSE 보장의 핵심이다.
• 최소 제곱 회귀, 낮은 질량 근사, 리지드 스코어 추정에 대한 기존 알고리즘에 임bedding을 적용하여, 희소성과 최적의 $ m $ 을 활용해 실행 시간을 단축시킨다.
• 행렬 곱셈 및 SVD 근사 기법을 활용하여, $ O(\operatorname{nnz}(A)) $ 와 $ \tilde{O}(r^\omega) $ 의 시간 복잡도를 달성한다. 여기서 $ r = \mathrm{rank}(A) $ 이고 $ \omega $ 는 행렬 곱셈의 지수이다.

실험 결과

연구 질문

• RQ1 임베딩 차원 $ m = \tilde{O}(d/\varepsilon^2) $ 와 희소성 $ s = \mathrm{polylog}(d)/\varepsilon $ 를 갖는 옹성 하위공간 임bedding(OSE)를 구성할 수 있는가? 이는 거의 최적의 임베딩 차원과 희소 투영을 달성하는가?
• RQ2 모든 상하위공간 내의 벡터에 대해 강력한 측도 집중을 유지하면서도, 임베딩 차원 $ m = O(d^{1+\gamma}/\varepsilon^2) $ 와 희소성 $ s = O(1/\varepsilon) $ 를 달성할 수 있는가? (모든 상수 $ \gamma > 0 $ 에 대해)
• RQ3 임베딩 차원 $ m = O(d^2/\varepsilon^2) $ 인 OSE에 필요한 최소 희소성 $ s $ 는 얼마이며, 최적의 $ m $ 를 달성하면서도 $ s = 1 $ 을 달성할 수 있는가?
• RQ4 희소 Johnson-Lindenstrauss 행렬의 분석을 확장하여, 임의의 희소 투영에 대해 새로운 Bai-Yin 유형의 정리를 도출할 수 있는가?
• RQ5 이러한 새로운 OSE들은 최소 제곱 회귀 및 낮은 질량 근사와 같은 기본적인 수치선형대수 문제의 실행 시간을 어떻게 향상시키는가?

주요 결과

• 논문은 $ m = O(d^2/\varepsilon^2) $ 와 $ s = 1 $ 인 OSE를 구성하였으며, 이는 $ s = 1 $ 인 경우 최적이다. 이는 이전의 $ s = 1 $ 과 $ m = O(d^2/\varepsilon^2) $ 인 구성법보다 향상된 결과를 제공한다.
• 두 가지 새로운 OSE 구성법을 제시한다: 하나는 $ m = \tilde{O}(d/\varepsilon^2) $, $ s = \mathrm{polylog}(d)/\varepsilon $ 이며, 다른 하나는 $ m = O(d^{1+\gamma}/\varepsilon^2) $, $ s = O(1/\varepsilon) $ 이며, 둘 다 $ m = o(d^2) $ 와 $ s = o(d) $ 를 달성한다. 이는 최초의 그러한 구성법이다.
• OSE는 $ O(1) $-wise 또는 $ O(\log d) $-wise 독립적인 해시 함수를 사용하여 샘플링되며, 이는 타임스탬프 스트리밍 및 기타 저메모리 환경에서의 효율적 구현을 가능하게 한다.
• 새로운 Bai-Yin 유형의 정리를 증명하였다: 임의의 정규직교 행렬 $ U \in \mathbb{R}^{n \times d} $ 에 대해, $ \Pi U $ 의 모든 특이값은 높은 확률로 $ [1-\varepsilon, 1+\varepsilon] $ 에 속한다. 이는 OSE 보장의 핵심이다.
• 최소 제곱 회귀에 OSNAP를 적용하면 실행 시간이 $ \tilde{O}(\operatorname{nnz}(A) + r^\omega) $ 로 줄어들며, 이는 거의 최적의 성능이며 이전 알고리즘보다 $ r $ 의 의존도가 더 낮다.
• 낮은 질량 근사의 경우, $ \tilde{O}(\operatorname{nnz}(A) + nk^2 + nk^{\omega-1}\varepsilon^{-1-\omega} + k^\omega\varepsilon^{-2-\omega}) $ 의 시간 복잡도를 달성하여, 더 희소한 임bedding과 효율적인 행렬 연산을 통해 이전 방법보다 향상된 결과를 얻는다.