[논문 리뷰] Leverage Score Sampling for Faster Accelerated Regression and ERM

Naman Agarwal, Sham M. Kakade외 4명|arXiv (Cornell University)|2017. 11. 22.

Stochastic Gradient Optimization Techniques참고 문헌 9인용 수 8

한 줄 요약

이 논문은 최소 제곱 회귀 및 경험적 리스크 최소화(Empirical Risk Minimization, ERM) 문제를 해결할 때 더 빠른 수렴을 달성하기 위해 리지드 스코어 샘플링을 활용하는 새로운 회귀 알고리즘을 제안한다. 리지드 스코어 샘플링을 프록시멀 포인트 방법과 가속된 좌표 강하법에 통합함으로써, 런타임이 $\widetilde{O}((n + \sqrt{d \cdot \kappa_{\text{sum}}}) \cdot s \cdot \log \epsilon^{-1})$로 향상되어, 리지드 스코어가 작을 경우 이전의 경계보다 더 우수한 성능을 보인다.

ABSTRACT

Given a matrix $\mathbf{A}\in\mathbb{R}^{n imes d}$ and a vector $b \in\mathbb{R}^{d}$, we show how to compute an $ε$-approximate solution to the regression problem $ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $ in time $ ilde{O} ((n+\sqrt{d\cdotκ_{ ext{sum}}})\cdot s\cdot\logε^{-1}) $ where $κ_{ ext{sum}}=\mathrm{tr}\left(\mathbf{A}^{ op}\mathbf{A} ight)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$ and $s$ is the maximum number of non-zero entries in a row of $\mathbf{A}$. Our algorithm improves upon the previous best running time of $ ilde{O} ((n+\sqrt{n \cdotκ_{ ext{sum}}})\cdot s\cdot\logε^{-1})$. We achieve our result through a careful combination of leverage score sampling techniques, proximal point methods, and accelerated coordinate descent. Our method not only matches the performance of previous methods, but further improves whenever leverage scores of rows are small (up to polylogarithmic factors). We also provide a non-linear generalization of these results that improves the running time for solving a broader class of ERM problems.

연구 동기 및 목표

• 조건 수 $\kappa_{\text{sum}}$가 클 경우 대규모 최소 제곱 회귀 및 ERM 문제를 해결하는 데 발생하는 계산적 병목 현상을 해결한다.
• 행 리지드 스코어가 작을 경우 $\sqrt{n \cdot \kappa_{\text{sum}}}$에 비례하는 기존 방법의 한계를 극복한다.
• 구조적 샘플링과 가속화를 통해 $n$과 $\kappa_{\text{sum}}$에 대한 의존도를 향상시킨 더 빠른 반복적 알고리즘을 개발한다.
• 비선형 ERM 문제로의 프레임워크 확장을 통해 선형 회귀를 넘어서 보다 광범위한 적용 가능성을 넓힌다.

제안 방법

• 리지드 스코어 샘플링을 사용하여 조건 수를 감소시키고 수렴을 가속화하는 조건화된 부분 문제를 구성한다.
• 프록시멀 포인트 방법을 적용하여 원래의 회귀 문제를 조건 수가 향상된 더 쉬운 부분 문제의 시퀀스로 변환한다.
• 각 부분 문제를 스파arsity $s$와 유효 차원 수에 따라 의존하는 시간 내에 효율적으로 해결하기 위해 가속된 좌표 강하법을 통합한다.
• 수렴 속도를 제한하는 핵심 정규화 파라미터로 총 조건 수 $\kappa_{\text{sum}} = \mathrm{tr}(\mathbf{A}^T\mathbf{A}) / \lambda_{\min}(\mathbf{A}^T\mathbf{A})$를 활용한다.
• 안정적이고 빠른 수렴을 보장하기 위해 리지드 스코어 비례 확률 분포를 행에 대해 설계한다.
• 변환된 공간에서 부드러움과 기울기 분산을 분석하기 위해 $\mathbf{A}^T\mathbf{A}$-노름을 통한 기저 변경을 사용한다.

실험 결과

연구 질문

• RQ1 이전의 경계를 초월해 리지드 스코어 샘플링을 통해 가속화된 회귀 알고리즘에서 $n$에 대한 의존도를 줄일 수 있는가?
• RQ2 행 리지드 스코어가 작을 경우, $\kappa_{\text{sum}}$가 그대로 큰 상태에서도 제안된 방법이 더 빠른 수렴을 달성하는가?
• RQ3 프레임워크를 비선형 ERM 문제로 일반화할 수 있으며, 이 경우에도 향상된 런타임 보장을 유지하는가?
• RQ4 샘플링 기반 조건화와 결합된 프록시멀 포인트 방법과 가속된 좌표 강하법의 조합이 수렴 속도에 어떻게 기여하는가?
• RQ5 효율적 조건 수를 최소화하고 수렴을 가속화하는 최적의 샘플링 분포는 무엇인가?

주요 결과

• 제안된 알고리즘은 $\widetilde{O}((n + \sqrt{d \cdot \kappa_{\text{sum}}}) \cdot s \cdot \log \epsilon^{-1})$의 런타임을 달성하여 이전의 최선 경계인 $\widetilde{O}((n + \sqrt{n \cdot \kappa_{\text{sum}}}) \cdot s \cdot \log \epsilon^{-1})$를 향상시킨다.
• 리지드 스코어가 작을 경우, $\sqrt{n \cdot \kappa_{\text{sum}}}$가 아닌 $\sqrt{d \cdot \kappa_{\text{sum}}}$에 의존함으로써 개선이 엄밀히 더 강력해진다.
• 낮은 행 리지드 스코어가 존재하는 설정에서 기존 최상의 알고리즘 성능을 그대로 유지하면서도 증명 가능한 개선을 제공한다.
• 분석을 통해 조건화된 공간에서 기대 기울기 노름이 $O(1/m)$ 속도로 감소함을 입증하여 가속화된 선형 수렴을 보장한다.
• 헤시안의 구조에 유사한 샘플링 및 가속화 기법을 적용함으로써 프레임워크를 비선형 ERM 문제로 일반화할 수 있다.
• 증명은 $\mathbf{A}^T\mathbf{A}$-노름에서의 새로운 기저 변경과 부드러움 분석에 기반하며, 효과적 부드러움 파라미터가 $\sum_j \tau_j \cdot M$로 유계임을 보여준다.