[논문 리뷰] Towards More Efficient SPSD Matrix Approximation and CUR Matrix Decomposition

Shusen Wang, Zhihua Zhang외 1명|arXiv (Cornell University)|2015. 03. 29.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 21

한 줄 요약

이 논문은 1+ε 상대 오차 정확도를 달성하면서 near-linear 시간 복잡도를 가지는 새로운 빠른 SPSD 행렬 근사 모델을 제안한다. 이는 Nyström 방법의 효율성과 프로토타입 모델의 정확성을 결합한다. 이 방법은 개선된 스케칭과 제약 조건이 있는 최소화 문제의 해를 통한 저랭크 분해 최적화를 통해 선형 시간 커널 근사 및 CUR 분해를 가능하게 한다.

ABSTRACT

Symmetric positive semi-definite (SPSD) matrix approximation methods have been extensively used to speed up large-scale eigenvalue computation and kernel learning methods. The standard sketch based method, which we call the prototype model, produces relatively accurate approximations, but is inefficient on large square matrices. The Nyström method is highly efficient, but can only achieve low accuracy. In this paper we propose a novel model that we call the {\it fast SPSD matrix approximation model}. The fast model is nearly as efficient as the Nyström method and as accurate as the prototype model. We show that the fast model can potentially solve eigenvalue problems and kernel learning problems in linear time with respect to the matrix size $n$ to achieve $1+ε$ relative-error, whereas both the prototype model and the Nyström method cost at least quadratic time to attain comparable error bound. Empirical comparisons among the prototype model, the Nyström method, and our fast model demonstrate the superiority of the fast model. We also contribute new understandings of the Nyström method. The Nyström method is a special instance of our fast model and is approximation to the prototype model. Our technique can be straightforwardly applied to make the CUR matrix decomposition more efficiently computed without much affecting the accuracy.

연구 동기 및 목표

• 대칭 양정준행렬(SPSD) 행렬 근사에서 프로토타입 모델의 비효율성과 Nyström 방법의 낮은 정확도를 해결한다.
• 행렬 크기 n에 대해 선형 시간 복잡도를 달성하면서도 높은 정확도(1+ε 상대 오차)를 확보하는 새로운 모델을 개발한다.
• 행렬 분해 및 행렬 역행렬 계산을 보다 빠르게 하여 커널 방법에서 고유값 분해 및 행렬 역행렬 계산의 시간 복잡도를 2차 시간 비용에서 벗어나게 한다.
• 스케칭 행렬과 저랭크 근사 오차 한계를 사용하여 새로운 모델에 대한 이론적 보장을 제공한다.
• 정확도를 희생시키지 않은 채 CUR 행렬 분해의 효율성을 향상시키기 위해 프레임워크를 확장한다.

제안 방법

• Nyström 방법과 프로토타입 모델을 일반화하는 새로운 빠른 SPSD 행렬 근사 모델을 제안한다.
• 스케칭 행렬 P를 사용하여 C = KP ∈ ℝⁿˣᶜ를 구성하며, 여기서 C는 커널 행렬 K의 열 부분집합이다.
• 정확도를 높이기 위해 min_U ||K - CU Cᵀ||_F² 문제를 풀어 U를 최적화한다.
• 계산 비용을 줄이기 위해 열과 행의 스케칭 행렬 S_C와 S_R를 사용하는 이중 단계 스케칭 과정을 도입한다.
• 랜덤화된 SVD와 리지드 스코어 샘플링을 활용하여 표준 스케칭 방법에서 높은 확률로 이론적 오차 한계를 확보한다.
• 행렬 농도 농도 이론을 적용하여 근사 오차가 최적의 저랭크 근사의 (1+ε) 배 이내로 제한됨을 보여준다.

실험 결과

연구 질문

• RQ1 Nyström 방법의 효율성과 프로토타입 모델의 정확성을 동시에 확보하는 새로운 SPSD 행렬 근사 모델을 설계할 수 있는가?
• RQ2 행렬 크기 n에 대해 선형 시간 내에 1+ε 상대 오차 근사를 달성할 수 있는가?
• RQ3 제안된 모델은 Nyström 및 프로토타입 모델과 어떻게 관련이 있는가?
• RQ4 새로운 프레임워크를 통해 정확도 손실을 최소화하면서도 CUR 행렬 분해의 속도를 높일 수 있는가?
• RQ5 다양한 스케칭 전략 하에서 근사 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 빠른 모델은 c = O(k/ε)개의 열을 사용하여 SPSD 행렬의 최적의 질량-k 근사에 대해 1+ε 상대 오차 근사를 달성한다.
• c가 n과 독립적이므로 c = O(nc²) 선형 시간 내에 실행되어 선형 시간 고유값 분해 및 행렬 역행렬 계산이 가능하다.
• Nyström 방법은 제안된 빠른 모델의 특수한 경우로 나타나며, 비최적의 U 계산으로 인해 본질적으로 정확도에 한계가 있다.
• 실험적 비교 결과, 빠른 모델이 프로토타입 모델과 Nyström 방법 모두 정확도 및 효율성 면에서 뛰어나다.
• 이론적 분석 결과, 리지드 스코어 샘플링, 균일 샘플링, 카운트 스케칭과 같은 표준 스케칭 방법에서 오차 한계가 높은 확률로 유지됨을 보여준다.
• 기존의 SPSD 근사 단계를 빠른 모델로 대체함으로써, CUR 행렬 분해의 가속화에 직접 적용할 수 있다.