[논문 리뷰] Subspace Embeddings and $\ell_p$-Regression Using Exponential Random Variables

David P. Woodruff, Qin Zhang|arXiv (Cornell University)|2013. 05. 23.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 22

한 줄 요약

이 논문은 지수형 랜덤 변수를 사용하여 ℓ_p-회귀에 대한 새로운 오블리비uous 서브스페이스 임베딩을 제안하며, 최적의 O(nnz(M)) 시간 계산을 가능하게 하고, 모든 p ∈ [1, ∞)에 대해 다항수준(d)의 왜곡을 달성한다. 이는 ℓ₁-에서-ℓ₁ 임베딩의 최고 성능 왜곡을 이전의 Õ(d³)에서 Õ(d²)로 향상시키며, p ∈ [1, ∞)에 대해 다항수준의 근사치를 갖는 첫 번째 거의 최적의 분산형 ℓ_p-회귀 프로토콜을 제공함으로써 일반적인 볼록 프로그래밍을 피한다.

ABSTRACT

Oblivious low-distortion subspace embeddings are a crucial building block for numerical linear algebra problems. We show for any real $p, 1 \leq p < \infty$, given a matrix $M \in \mathbb{R}^{n imes d}$ with $n \gg d$, with constant probability we can choose a matrix $Π$ with $\max(1, n^{1-2/p}) \poly(d)$ rows and $n$ columns so that simultaneously for all $x \in \mathbb{R}^d$, $\|Mx\|_p \leq \|ΠMx\|_{\infty} \leq \poly(d) \|Mx\|_p.$ Importantly, $ΠM$ can be computed in the optimal $O( nz(M))$ time, where $ nz(M)$ is the number of non-zero entries of $M$. This generalizes all previous oblivious subspace embeddings which required $p \in [1,2]$ due to their use of $p$-stable random variables. Using our matrices $Π$, we also improve the best known distortion of oblivious subspace embeddings of $\ell_1$ into $\ell_1$ with $ ilde{O}(d)$ target dimension in $O( nz(M))$ time from $ ilde{O}(d^3)$ to $ ilde{O}(d^2)$, which can further be improved to $ ilde{O}(d^{3/2}) \log^{1/2} n$ if $d = Ω(\log n)$, answering a question of Meng and Mahoney (STOC, 2013). We apply our results to $\ell_p$-regression, obtaining a $(1+\eps)$-approximation in $O( nz(M)\log n) + \poly(d/\eps)$ time, improving the best known $\poly(d/\eps)$ factors for every $p \in [1, \infty) \setminus \{2\}$. If one is just interested in a $\poly(d)$ rather than a $(1+\eps)$-approximation to $\ell_p$-regression, a corollary of our results is that for all $p \in [1, \infty)$ we can solve the $\ell_p$-regression problem without using general convex programming, that is, since our subspace embeds into $\ell_{\infty}$ it suffices to solve a linear programming problem. Finally, we give the first protocols for the distributed $\ell_p$-regression problem for every $p \geq 1$ which are nearly optimal in communication and computation.

연구 동기 및 목표

• p > 2일 때, p-안정 분포에 의존하는 기존 방법이 실패하는 상황에서, ℓ_p-회귀에 대해 효율적이고 오블리비uous 서브스페이스 임베딩이 부족한 문제를 해결한다.
• 기존 ℓ₁-에서-ℓ₁ 임베딩의 왜곡을 Õ(d³)에서 Õ(d²)로 향상시키며, d = Ω(log n)일 경우 Õ(d^{3/2})log^{1/2}n으로 추가로 향상시켜 Meng와 Mahoney가 제기한 열린 문제를 해결한다.
• 모든 p ≥ 1에 대해 통신과 계산 면에서 거의 최적인 분산형 ℓ_p-회귀 프로토콜을 개발하여 확장 가능한 대규모 회귀를 가능하게 한다.
• 모든 p ∈ [1, ∞) ∩ {2}에 대해 (1+ε)-근사 ℓ_p-회귀를 위한 다항수준(d/ε) 시간 알고리즘을 제공하며, 이는 이전의 다항수준(d/ε) 요인들보다 향상된다.
• 모든 p ∈ [1, ∞)에 대해 ℓ_p-회귀 문제를 ℓ_∞로 임베딩함으로써 선형 프로그래밍을 통해 해결함으로써 일반적인 볼록 프로그래밍을 피할 수 있음을 보여준다.

제안 방법

• 지수형 랜덤 변수를 사용하는 새로운 오블리비uous 서브스페이스 임베딩 행렬 Π를 제안하며, 이는 모든 p ∈ [1, ∞)에 대해 다항수준 왜곡을 달성한다.
• Π를 max(1, n^{1-2/p})poly(d) 행과 n 열로 구성하여, 모든 x ∈ ℝ^d에 대해 ‖Mx‖_p ≤ ‖ΠMx‖_∞ ≤ poly(d)‖Mx‖_p를 보장한다.
• 지수형 랜덤 변수의 구조와 희소 샘플링을 활용하여 ΠM 계산에 최적의 O(nnz(M)) 시간을 달성한다.
• ℓ_∞로의 임베딩을 통해 ℓ_p-회귀 문제를 선형 프로그래밍으로 감소시켜, p ∈ [1, ∞)에 대해 일반적인 볼록 프로그래밍을 피한다.
• 각 머신이 국소 임베딩을 계산하고 샘플된 행만 전송함으로써 통신을 최소화하는 분산 프로토콜을 설계하며, 계층적 샘플링과 QR 분해를 활용한다.
• 레미마 7과 레미마 10을 활용하여 각 사이트에서 상수 수준 왜곡 임베딩을 계산하고, QR 분해를 통해 글로벌 잘 조절된 기저를 확보한다.

실험 결과

연구 질문

• RQ1 p ∈ [1, ∞)를 모두 포함하여, p > 2인 경우에도 p-안정 분포에 의존하지 않고 작동하는 오블리비uous 서브스페이스 임베딩을 구성할 수 있는가?
• RQ2 O(nnz(M)) 시간 내에서 ℓ₁-에서-ℓ₁ 임베딩의 최고 왜곡은 무엇이며, 이는 Õ(d³)를 초월할 수 있는가?
• RQ3 모든 p ≥ 1에 대해 통신 효율성과 계산 확장성 모두를 충족하는 분산형 ℓ_p-회귀 프로토콜을 설계할 수 있는가?
• RQ4 모든 p ∈ [1, ∞)에 대해 일반적인 볼록 프로그래밍을 피하고 선형 프로그래밍만으로 ℓ_p-회귀 문제를 해결할 수 있는가?
• RQ5 모든 p ∈ [1, ∞) ∩ {2}에 대해 O(nnz(M)log n) + poly(d/ε) 시간 내에서 (1+ε)-근사 ℓ_p-회귀를 달성할 수 있는가?

주요 결과

• 논문은 지수형 랜덤 변수를 사용하는 오블리비uous 서브스페이스 임베딩을 구성하여, 모든 p ∈ [1, ∞)에 대해 다항수준 왜곡을 달성하며, O(max(1, n^{1-2/p})poly(d)) 행을 갖는다.
• 임베딩 ΠM는 최적의 O(nnz(M)) 시간 내에 계산될 수 있어, 회귀 문제의 빠른 사전처리를 가능하게 한다.
• ℓ₁-에서-ℓ₁ 임베딩의 경우, 왜곡이 이전의 Õ(d³)에서 Õ(d²)로 향상되었으며, d = Ω(log n)일 경우 Õ(d^{3/2})log^{1/2}n로 추가로 향상되어 Meng와 Mahoney가 제기한 열린 문제를 해결한다.
• 모든 p ∈ [1, ∞) ∩ {2}에 대해 (1+ε)-근사 ℓ_p-회귀 알고리즘이 O(nnz(M)log n) + poly(d/ε) 시간 내에 달성되며, 이는 이전의 다항수준(d/ε) 요인들보다 향상된다.
• 모든 p ∈ [1, ∞)에 대해 ℓ_p-회귀 문제를 ℓ_∞로 임베딩함으로써 선형 프로그래밍을 통해 해결할 수 있으며, 일반적인 볼록 프로그래밍이 필요 없어진다.
• 모든 p ≥ 1에 대해 첫 번째 거의 최적의 분산형 ℓ_p-회귀 프로토콜이 제안되었으며, 총 통신 비용은 O(kd^{2+γ} + d^5 log²d + d^{3+p}log(1/ε)/ε²)이고, 총 실행 시간은 O(nnz(Ṁ)log n + kd^{2+γ} + d^{7-p/2}log^{3-p/2}d + φ(O(d^{2+p}log(1/ε)/ε²), d))이다.