[논문 리뷰] Towards More Efficient Symmetric Matrix Sketching and the CUR Matrix Decomposition

Shusen Wang, Zhihua Zhang외 1명|arXiv (Cornell University)|2015. 03. 29.

Matrix Theory and Algorithms참고 문헌 7인용 수 5

한 줄 요약

이 논문은 $1+\epsilon$ 상대 오차 정확도를 갖는 선형 시간 대칭 행렬 근사화를 달성하기 위해 행렬 스케칭과 니스트롬 방법을 융합한 새로운 하이브리드 방법인 Sketch-Nyström 방법을 제안한다. 이 방법은 대규모 대칭 행렬에서 효율적인 고유값 계산과 커널 학습을 가능하게 하여 기존 스케칭 방법의 이차 시간 복잡도와 순수 니스트롬 방법의 낮은 정확도에 비해 크게 향상된다.

ABSTRACT

Matrix sketching schemes and the Nystr\om method have both been extensively used to speed up large-scale eigenvalue computation and kernel learning methods. Matrix sketching methods produce accurate matrix approximations, but they are only computationally efficient on skinny matrices where one of the matrix dimensions is relatively small. In particular, they are not efficient on large square matrices. The Nystr\om method, on the other hand, is highly efficient on symmetric (and thus square) matrices, but can only achieve low matrix approximation accuracy. In this paper we propose a novel combination of the sketching method and the Nystr\om method to improve their efficiency/effectiveness, leading to a novel approximation which we call the Sketch-Nystr\om method. The Sketch-Nystr\om method is computationally nearly as efficient as the Nystr\om method on symmetric matrices with approximation accuracy comparable to that of the sketching method. We show theoretically that the Sketch-Nystr\om method can potentially solve eigenvalue problems and kernel learning problems in linear time with respect to the matrix size to achieve $1+\epsilon$ relative-error, whereas the sketch methods and the Nystr\om method cost at least quadratic time to attain comparable error bound. Our technique can be straightforwardly applied to make the CUR matrix decomposition more efficiently computed without much affecting the accuracy. Empirical experiments demonstrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 대규모 정사각 대칭 행렬에 대한 행렬 스케칭의 비효율성을 해결하기 위해.
• 대칭 행렬 설정에서 니스트롬 방법의 낮은 근사 정확도를 극복하기 위해.
• 니스트롬의 계산 효율성과 스케칭의 높은 정확도를 융합한 하이브리드 방법을 개발하기 위해.
• 대칭 행렬 근사화를 선형 시간 내에 $1+\epsilon$ 상대 오차 보장을 갖는다.
• 정확도를 희생시키지 않은 채 CUR 행렬 분해의 효율성을 향상시키기 위해.

제안 방법

• 행렬 스케칭과 니스트롬 방법을 융합하여 새로운 행렬 근사화 프레임워크인 Sketch-Nyström 방법을 제안한다.
• 랜덤 프로젝션을 사용하여 대칭 행렬을 스케칭함으로써 스펙트럼 구조를 유지하면서 차원을 감소시킨다.
• 스케칭된 행렬에 대해 니스트롬 방법을 적용하여 대칭성을 활용하고 계산을 가속화한다.
• 이 방법이 선형 시간 내에 $1+\epsilon$ 상대 오차 근사화를 달성할 수 있음을 이론적으로 도출한다.
• 도출된 저랭크 근사화를 활용하여 CUR 분해를 효율적으로 계산한다.
• 표준 스케칭 수준의 높은 근사 정확도를 유지하면서도 니스트롬 수준의 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 대칭 행렬에서 스케칭의 정확도와 니스트롬의 효율성을 융합한 하이브리드 방법을 설계할 수 있는가?
• RQ2 그러한 하이브리드 방법의 근사 오차에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ3 제안된 방법이 대칭 행렬에 대해 선형 시간 내에 $1+\epsilon$ 상대 오차 근사화를 달성할 수 있는가?
• RQ4 정확도와 계산 비용 측면에서 표준 스케칭 및 니스트롬 방법과 비교해 볼 때 Sketch-Nyström 방법은 어떻게 성능을 내는가?
• RQ5 이 방법은 CUR 행렬 분해를 효과적으로 가속화하는 데 응용될 수 있는가?

주요 결과

• Sketch-Nyström 방법은 대칭 행렬에 대해 선형 시간 내에 $1+\epsilon$ 상대 오차 근사화를 달성하며, 표준 스케칭 및 니스트롬 방법을 모두 능가한다.
• 이 방법은 계산 비용을 이차 시간 복잡도에서 선형 시간 복잡도로 감소시키면서도 높은 근사 정확도를 유지한다.
• 실험 결과는 Sketch-Nyström 방법이 대규모 대칭 행렬에서 속도와 정확도 사이의 우수한 트레이드오프를 제공함을 확인한다.
• 이 방법은 정확도 손실을 최소화하면서도 효율적인 CUR 행렬 분해 계산을 가능하게 한다.
• 이론적 분석을 통해 이 방법이 $1+\epsilon$ 상대 오차 근사화를 달성하는 데 있어 시간 복잡도 측면에서 최적임을 입증한다.
• 이 방법은 커널 학습 및 고유값 문제에 직접 적용 가능하며, 대규모 대칭 데이터에서 이들의 계산을 크게 가속화한다.