[논문 리뷰] Exploiting Numerical Sparsity for Efficient Learning : Faster Eigenvector Computation and Regression

Neha Gupta, Aaron Sidford|arXiv (Cornell University)|2018. 11. 27.

Matrix Theory and Algorithms인용 수 5

한 줄 요약

이 논문은 데이터 행렬의 수치적 흐าก이미를 활용하여 최상위 고유벡터 계산과 회귀 분석을 더 빠르게 수행하는 알고리즘을 제시한다. SVRG에 좌표 샘플링을 도입하고, 고유벡터 계산에 특화된 새로운 선형대수학적 데이터 구조를 제안함으로써, 입력 크기와 고유값, ℓ₁/ℓ₂ 노름과 같은 천연 수치적 측도에만 의존하는 향상된 실행 시간을 달성한다. 이는 많은 상황에서 이전 방법보다 훨씬 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we obtain improved running times for regression and top eigenvector computation for numerically sparse matrices. Given a data matrix $A \in \mathbb{R}^{n imes d}$ where every row $a \in \mathbb{R}^d$ has $\|a\|_2^2 \leq L$ and numerical sparsity at most $s$, i.e. $\|a\|_1^2 / \|a\|_2^2 \leq s$, we provide faster algorithms for these problems in many parameter settings. For top eigenvector computation, we obtain a running time of $ ilde{O}(nd + r(s + \sqrt{r s}) / \mathrm{gap}^2)$ where $\mathrm{gap} > 0$ is the relative gap between the top two eigenvectors of $A^ op A$ and $r$ is the stable rank of $A$. This running time improves upon the previous best unaccelerated running time of $O(nd + r d / \mathrm{gap}^2)$ as it is always the case that $r \leq d$ and $s \leq d$. For regression, we obtain a running time of $ ilde{O}(nd + (nL / μ) \sqrt{s nL / μ})$ where $μ> 0$ is the smallest eigenvalue of $A^ op A$. This running time improves upon the previous best unaccelerated running time of $ ilde{O}(nd + n L d / μ)$. This result expands the regimes where regression can be solved in nearly linear time from when $L/μ= ilde{O}(1)$ to when $L / μ= ilde{O}(d^{2/3} / (sn)^{1/3})$. Furthermore, we obtain similar improvements even when row norms and numerical sparsities are non-uniform and we show how to achieve even faster running times by accelerating using approximate proximal point [Frostig et. al. 2015] / catalyst [Lin et. al. 2015]. Our running times depend only on the size of the input and natural numerical measures of the matrix, i.e. eigenvalues and $\ell_p$ norms, making progress on a key open problem regarding optimal running times for efficient large-scale learning.

연구 동기 및 목표

• 대규모 학습에서 데이터 행렬의 수치적 흐릿함을 활용하여 최상위 고유벡터 계산과 회귀 분석을 더 빠르게 수행하는 알고리즘을 개발한다.
• 조건수나 행의 흐릿함과 같은 문제 매개변수에 대한 실행 시간 의존도를 줄여, 이질적인 흐릿도 측도를 넘어서는 데 목표를 둔다.
• 이전에 알려진 바와 비교해 더 넓은 매개변수 영역에서 거의 선형 시간 성능을 달성한다.
• 실행 시간이 입력 크기와 고유값, ℓ_p 노름과 같은 천연 수치적 양에만 의존하는 알고리즘을 제공함으로써, 효율적 학습 분야의 핵심 열린 문제를 해결한다.

제안 방법

• 유한 합 최적화를 위한 Stochastic Variance Reduced Gradient Descent (SVRG)에 좌표 샘플링 기법을 적용하여 더 빠른 기울기 계산을 가능하게 한다.
• 고유벡터 계산에 특화된 새로운 선형대수학적 데이터 구조를 제안하여, 흐릿한 환경에서의 효율성을 향상시킨다.
• 행렬의 원소 수준에서의 흐릿화를 사용하여 AᵀA를 흐릿한 행렬 Â로 근사함으로써, 주어진 오차 한계 내에서 스펙트럼 근사가 보장되도록 한다.
• 근사된 프록시멀 포인트와 캐탈리스트 가속 기법을 활용하여, 회귀 문제와 고유벡터 문제 양쪽에서 수렴 속도를 더욱 빠르게 한다.
• 각 행에 대해 ‖aᵢ‖₁² / ‖aᵢ‖₂² ≤ s 를 만족하는 수치적 흐릿도 s 를 정의함으로써 반복 비용을 줄인다.
• 최악의 경우 d 또는 균일한 흐릿도가 아닌, 안정적 랭크 r, 수치적 흐릿도 s, 스펙트럼 갭에 따라 실행 시간의 경계를 유도한다.

실험 결과

연구 질문

• RQ1 구조적 흐릿도 외에 수치적 흐릿도를 활용함으로써, 회귀 및 최상위 고유벡터 계산의 실행 시간을 더 빠르게 만들 수 있는가?
• RQ2 어떤 매개변수 영역에서 회귀 및 고유벡터 계산에 대해 거의 선형 시간 알고리즘을 달성할 수 있는가?
• RQ3 반복 비용이 고유값과 ℓ₁/ℓ₂ 노름과 같은 천연 수치적 행렬 측도에만 의존하는 반복 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 SVRG에서의 좌표 샘플링이, 표준 확률적 방법을 초월해 학습 분야의 유한 합 문제에서 증명 가능한 더 빠른 수렴을 이끌 수 있는가?

주요 결과

• 최상위 고유벡터 계산의 경우, 알고리즘은 Õ(nd + r(s + √(rs))/gap²)의 실행 시간을 달성하며, 이는 이전 최고 성능인 O(nd + rd/gap²)에 비해 d와 s에 대한 의존도를 줄여 향상된 성능을 보인다.
• 회귀 문제의 경우, 실행 시간은 Õ(nd + (nL/μ)√(snL/μ))로, 이전 최고 성능인 Õ(nd + nLd/μ)보다 향상되었으며, 거의 선형 시간 영역이 L/μ = Õ(d²ᐟ³ / (sn)¹ᐟ³)로 확장된다.
• 실행 시간은 입력 크기, 안정적 랭크 r, 수치적 흐릿도 s, 스펙트럼 갭, 고유값 매개변수에만 의존하며, 취약한 가중 흐릿도 측도를 피한다.
• 비균일한 행의 노름과 수치적 흐릿도 조건에서도 알고리즘이 효과를 유지하며, 캐탈리스트 및 근사 프록시멀 포인트 가속 기법을 통해 추가적인 속도 향상이 가능하다.
• 결과적으로 수치적 흐릿도가 증명 가능한 더 빠른 수렴을 가능하게 하며, 대규모 학습을 위한 최적의 반복적 방법 분야에서 핵심 열린 문제를 해결한다.