[논문 리뷰] Low-distortion Subspace Embeddings in Input-sparsity Time and Applications to Robust Linear Regression

Xiangrui Meng, Michael W. Mahoney|arXiv (Cornell University)|2012. 10. 11.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 13

한 줄 요약

이 논문은 p∈[1,2)에 대해 ℓp-노름에서 저왜곡 부분공간 통합을 구성하기 위한 입력 스파arsity 시간 알고리즘을 제시한다. 이는 강건한 선형 회귀 문제를 빠르고 정확하게 해결할 수 있게 한다. 주요 기여는 n×d 행렬 A의 열공간에 대해 (1±ε)-왜곡 통합을 O(nnz(A)·log n) 시간 내에 계산하는 방법을 제공하는 것으로, 통합 차원은 O(d^{3+p/2} log(1/ε)/ε²)이며, 이는 이전의 경계에 비해 크게 향상되었고 최적의 실행 시간을 유지한다.

ABSTRACT

Low-distortion embeddings are critical building blocks for developing random sampling and random projection algorithms for linear algebra problems. We show that, given a matrix $A \in \R^{n imes d}$ with $n \gg d$ and a $p \in [1, 2)$, with a constant probability, we can construct a low-distortion embedding matrix $Π\in \R^{O(\poly(d)) imes n}$ that embeds $\A_p$, the $\ell_p$ subspace spanned by $A$'s columns, into $(\R^{O(\poly(d))}, \| \cdot \|_p)$; the distortion of our embeddings is only $O(\poly(d))$, and we can compute $ΠA$ in $O( nz(A))$ time, i.e., input-sparsity time. Our result generalizes the input-sparsity time $\ell_2$ subspace embedding by Clarkson and Woodruff [STOC'13]; and for completeness, we present a simpler and improved analysis of their construction for $\ell_2$. These input-sparsity time $\ell_p$ embeddings are optimal, up to constants, in terms of their running time; and the improved running time propagates to applications such as $(1\pm ε)$-distortion $\ell_p$ subspace embedding and relative-error $\ell_p$ regression. For $\ell_2$, we show that a $(1+ε)$-approximate solution to the $\ell_2$ regression problem specified by the matrix $A$ and a vector $b \in \R^n$ can be computed in $O( nz(A) + d^3 \log(d/ε) /ε^2)$ time; and for $\ell_p$, via a subspace-preserving sampling procedure, we show that a $(1\pm ε)$-distortion embedding of $\A_p$ into $\R^{O(\poly(d))}$ can be computed in $O( nz(A) \cdot \log n)$ time, and we also show that a $(1+ε)$-approximate solution to the $\ell_p$ regression problem $\min_{x \in \R^d} \|A x - b\|_p$ can be computed in $O( nz(A) \cdot \log n + \poly(d) \log(1/ε)/ε^2)$ time. Moreover, we can improve the embedding dimension or equivalently the sample size to $O(d^{3+p/2} \log(1/ε) / ε^2)$ without increasing the complexity.

연구 동기 및 목표

• p∈[1,2)에 대해 입력 스파arsity 시간 내에서 저왜곡 ℓp-노름 부분공간 통합을 위한 효율적인 알고리즘을 개발하는 것.
• 특히 ℓ1 회귀에 대해 강건한 ℓp 회귀 문제의 실행 시간과 통합 차원을 향상시키는 것.
• 클라크슨과 워드리프의 입력 스파arsity 시간 ℓ2 통합을 p<2인 ℓp로 일반화하는 것.
• 반복적 샘플링과 조건화를 통해 다항식과 로그 항을 분리하여 통합 차원에서 d에 대한 의존도를 줄이는 것.
• (1±ε)-왜곡 통합과 ℓp 회귀의 (1+ε)-근사해에 대해 근사적으로 최적의 실행 시간과 통합 크기를 달성하는 것.

제안 방법

• A의 열공간의 ℓp-구조를 왜곡 O(poly(d))로 유지하는 저왜곡 통합 행렬 Π∈ℝ^{poly(d)×n}을 구성하는 것.
• 두 단계 샘플링 및 조건화 절차를 사용: 먼저 QR 또는 반올림을 통해 잘 조건화된 기저를 계산한 후, 부분공간 유지 샘플링을 적용하여 통합 차원을 줄이는 것.
• 효율적인 샘플링을 가능하게 하기 위해 코시 변환과 리커브 스코어 추정 기법을 활용하는 것.
• 두 번째 샘플링 라운드를 적용하여 poly(d) 요소를 log(1/ε)/ε² 항에서 분리하여 최종 통합 차원을 O(d^{3+p/2} log(1/ε)/ε²)로 감소시키는 것.
• 샘플링된 문제를 크기 O(d^{3+p/2} log(1/ε)/ε²) × d로 축소한 후 정확히 작은 문제를 푸는 방식으로 ℓp 회귀를 해결하는 것.
• 희소 행렬 연산과 효율적인 샘플링 기법을 사용하여 모든 단계가 입력 스파arsity 시간, 즉 O(nnz(A)·log n) 내에서 실행되도록 보장하는 것.

실험 결과

연구 질문

• RQ1 p∈[1,2)에 대해 입력 스파arsity 시간 내에서 저왜곡 ℓp 부분공간 통합을 계산할 수 있는가?
• RQ2 실행 시간을 증가시키지 않고도 통합 차원을 O(poly(d)/ε²)에서 O(d^{3+p/2} log(1/ε)/ε²)로 줄일 수 있는가?
• RQ3 ℓp 회귀에서 통합 차원과 조건화 품질 사이의 트레이드오프를 어떻게 최적화할 수 있는가?
• RQ4 ℓp 회귀의 실행 시간을 O(nnz(A)·log n + poly(d)·log(1/ε)/ε²)로 향상시킬 수 있는가?
• RQ5 통합 차원에서 d에 대한 큰 다항식 의존도를 log(1/ε)/ε² 항에서 분리할 수 있는가?

주요 결과

• n×d 행렬 A의 ℓp 열공간에 대해 (1±ε)-왜곡 통합은 O(nnz(A)·log n) 시간 내에 계산 가능하며, 통합 차원은 O(d^{3+p/2} log(1/ε)/ε²)이다.
• 알고리즘은 입력 스파arsity 시간 복잡도를 달성하였으며, 이는 실행 시간 측면에서 상수 요소를 제외하고 최적이며.
• ℓ2 회귀의 경우, (1+ε)-근사해는 O(nnz(A) + d³ log(d/ε)/ε²) 시간 내에 계산 가능하며, 이는 이전 방법보다 향상되었다.
• p∈[1,2)에 대해 ℓp 회귀의 경우, (1+ε)-근사해는 O(nnz(A)·log n + poly(d)·log(1/ε)/ε²) 시간 내에 계산 가능하다.
• 반복적 샘플링과 조건화를 통해 다항식 요소를 log(1/ε)/ε² 항에서 분리함으로써 통합 차원이 향상되었으며, 이는 더 작은 부분 문제를 가능하게 한다.
• 이 방법은 클라크슨과 워드리프의 입력 스파arsity 시간 ℓ2 통합을 일반화하고 향상시키며, 더 단순하고 날카운 분석을 제공한다.