[논문 리뷰] Sharper Bounds for Regression and Low-Rank Approximation with Regularization.

Haim Avron, Kenneth L. Clarkson외 1명|arXiv (Cornell University)|2016. 11. 10.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 행렬 스케칭을 사용하여 정규화된 회귀 및 저질서 근사에 더 날카운 알고리즘적 복잡도를 도입하며, 자원 복잡도에서 전통적인 질서를 통계적 차원으로 대체한다. 릿지 정규화된 저질서 근사에 대해, 최적 해의 통계적 차원에 따라 스케일링되는 향상된 시간 복잡도를 달성하여 강한 정규화 조건에서 성능 향상이 뚜렷하다.

ABSTRACT

The technique of matrix sketching, such as the use of random projections, has been shown in recent years to be a powerful tool for accelerating many important statistical learning techniques. Research has so far focused largely on using sketching for the vanilla un-regularized versions of these techniques. Here we study sketching methods for regularized variants of linear regression, low rank approximations, and canonical correlation analysis. We study regularization both in a fairly broad setting, and in the specific context of the popular and widely used technique of ridge regularization; for the latter, as applied to each of these problems, we show algorithmic resource bounds in which the {\em statistical dimension} appears in places where in previous bounds the rank would appear. The statistical dimension is always smaller than the rank, and decreases as the amount of regularization increases. In particular, for the ridge low-rank approximation problem $\min_{Y,X} \lVert YX - A Vert_F^2 + \lambda \lVert Y Vert_F^2 + \lambda\lVert X Vert_F^2$, where $Y\in\mathbb{R}^{n imes k}$ and $X\in\mathbb{R}^{k imes d}$, we give an approximation algorithm needing \[ O(\mathtt{nnz}(A)) + ilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\})+ ilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3) \] time, where $s_{\lambda}(Y^*)\le k$ is the statistical dimension of $Y^*$, $Y^*$ is an optimal $Y$, $\varepsilon$ is an error parameter, and $\mathtt{nnz}(A)$ is the number of nonzero entries of $A$. We also study regularization in a much more general setting. For example, we obtain sketching-based algorithms for the low-rank approximation problem $\min_{X,Y} \lVert YX - A Vert_F^2 + f(Y,X)$ where $f(\cdot,\cdot)$ is a regularizing function satisfying some very general conditions (chiefly, invariance under orthogonal transformations).

연구 동기 및 목표

• 선형 회귀, 저질서 근사, 그리고 캐논컬 상관 분석의 비정규화된 형태에서 정규화된 변형으로까지 행렬 스케칭 기법을 확장한다.
• 알고리즘 자원 복잡도에서 질서를 통계적 차원으로 대체하며, 이는 항상 더 작고 정규화가 증가함에 따라 감소한다.
• 정규화가 직교 불변성을 만족하는 일반적인 정규화자에 대해 효율적인 스케칭 기반 알고리즘을 개발한다.
• 통계적 차원을 통해 정규화된 해의 본질적 복잡도를 반영하는 더 날카운 시간 복잡도 경계를 제공한다.

제안 방법

• 정확도를 유지하면서 정규화된 학습 문제의 계산 속도를 향상시키기 위해 무작위 투영을 통한 행렬 스케칭을 사용한다.
• 질서 기반 경계를 통계적 차원 기반 경계로 대체하며, 통계적 차원 $\mathtt{sd}_\lambda(Y^*)$ 는 $Y^{*\top}Y^*(Y^{*\top}Y^* + \lambda I)^{-1}$ 의 트레이스로 정의된다.
• 릿지 정규화된 저질서 근사 문제 $\min_{Y,X} \|YX - A\|_F^2 + \lambda \|Y\|_F^2 + \lambda \|X\|_F^2$ 에 스케칭을 적용하여, $O(\mathtt{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\}) + \tilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3)$ 의 시간 복잡도를 유도한다.
• 정규화가 직교 변환에 대해 불변인 임의의 정규화자 $f(Y,X)$ 를 다룰 수 있도록 프레임워크를 일반화한다.
• 계산 비용을 감소시키면서도 정규화된 목표 함수의 구조를 유지하는 스케칭 기법을 활용한다.

실험 결과

연구 질문

• RQ1 행렬 스케칭은 저질서 근사 및 회귀의 정규화된 형태로 효과적으로 확장될 수 있는가?
• RQ2 알고리즘 경계에서 질서를 통계적 차원으로 대체하면 더 날카운 실용적인 복잡도 보장을 얻을 수 있는가?
• RQ3 최적 해의 통계적 차원이 릿지 정규화된 문제에서 스케칭 기반 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ4 직교 불변성을 만족하는 일반 정규화자에 대해 스케칭 기반 알고리즘을 설계할 수 있는가?
• RQ5 스케칭 하에 정규화된 저질서 근사에서 근사 오차와 계산 비용 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 릿지 정규화된 저질서 근사의 시간 복잡도는 질서 대신 통계적 차원 $\mathtt{sd}_\lambda(Y^*)$ 에 따라 스케일링되며, 강한 정규화 조건에서 더 나은 경계를 제공한다.
• 제안된 알고리즘은 $O(\mathtt{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_\lambda(Y^*)\}) + \tilde{O}(\varepsilon^{-8} \mathtt{sd}_\lambda(Y^*)^3)$ 의 시간 복잡도로 $\varepsilon$-근사 해를 달성한다.
• 통계적 차원 $\mathtt{sd}_\lambda(Y^*)$ 는 항상 $k$ 이하이며, 정규화 파라미터 $\lambda$ 가 증가함에 따라 감소하여 효과적 차원이 감소함을 반영한다.
• 프레임워크는 릿지 정규화를 초월하여 직교 변환에 대해 불변인 임의의 정규화자 $f(Y,X)$ 에도 일반화된다.
• 기존 연구에 비해 경계가 더 날카롭고, 특히 통계적 차원이 질서보다 훨씬 작은 경우, 즉 강한 정규화 조건에서 성능 향상이 두드러진다.
• 결과적으로 스케칭은 정규화된 문제에 대해 증명 가능하고 해의 진정한 복잡도를 반영하는 보장을 갖춘 효율적으로 적용될 수 있음을 보여준다.