[논문 리뷰] Integrating multiple random sketches for singular value decomposition

Ting‐Li Chen, Dawei D. Chang외 4명|arXiv (Cornell University)|2016. 08. 29.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 10

한 줄 요약

이 논문은 낮은 질서의 행렬 근사에서 정확도를 향상시키고 확률적 변동을 줄이기 위해 다수의 무작위 스케치를 통합하는 통합된 랜덤 SVD 알고리즘을 제안한다. 여러 스케치된 부분공간에 대해 콜모고로프-나구노 유형의 평균을 사용하는 스티펠 다양체 제약 최적화 문제를 해결하여, 단일 스케치 랜덤 SVD보다 더 높은 일관성과 수렴 속도를 달성한다.

ABSTRACT

The singular value decomposition (SVD) of large-scale matrices is a key tool in data analytics and scientific computing. The rapid growth in the size of matrices further increases the need for developing efficient large-scale SVD algorithms. Randomized SVD based on one-time sketching has been studied, and its potential has been demonstrated for computing a low-rank SVD. Instead of exploring different single random sketching techniques, we propose a Monte Carlo type integrated SVD algorithm based on multiple random sketches. The proposed integration algorithm takes multiple random sketches and then integrates the results obtained from the multiple sketched subspaces. So that the integrated SVD can achieve higher accuracy and lower stochastic variations. The main component of the integration is an optimization problem with a matrix Stiefel manifold constraint. The optimization problem is solved using Kolmogorov-Nagumo-type averages. Our theoretical analyses show that the singular vectors can be induced by population averaging and ensure the consistencies between the computed and true subspaces and singular vectors. Statistical analysis further proves a strong Law of Large Numbers and gives a rate of convergence by the Central Limit Theorem. Preliminary numerical results suggest that the proposed integrated SVD algorithm is promising.

연구 동기 및 목표

• 대규모 행렬에 대한 단일 무작위 스케치 랜덤 SVD의 높은 확률적 변동성과 제한된 정확도를 해결한다.
• 다양한 독립적인 무작위 스케치를 활용하여 부분공간 추정을 향상시키는 몬테카를로 유형의 알고리즘을 개발한다.
• 모집단 평균을 통한 이론적 일관성을 확보하여 계산된 부분공간과 진짜 고유 부분공간, 고유 벡터 간의 일致성을 확보한다.
• 앙상블 통합을 통해 낮은 질서 SVD 근사에서 분산을 줄이고 수렴 속도를 향상시킨다.
• 스티펠 다양체 위에서 최적화를 통해 다수의 스케치된 부분공간을 통합하는 통계적으로 타당한 프레임워크를 제공한다.

제안 방법

• 입력 행렬 A에 대해 i.i.d. 가우시안 투영을 사용하여 다수의 무작위 스케치를 생성하는 통합 SVD(iSVD) 알고리즘을 제안한다.
• 다양한 스케치된 부분공간을 가장 잘 대표하는 최적의 부분공간을 찾기 위해 스티펠 다양체 위의 제약 최적화 문제를 사용한다.
• 스티펠 다양체 위에서 콜모고로프-나구노 유형의 평균을 반복적으로 적용하여 독립적으로 샘플된 다수의 부분공간을 평균화한다.
• 모집단 평균의 논리를 활용하여 스케치 수가 증가함에 따라 통합된 부분공간이 진짜 주요 부분공간으로 수렴함을 보여준다.
• 강한 대수법의 법칙과 중심극한정리를 사용하여 고유벡터와 부분공간에 대한 수렴 보장을 도출한다.
• 입력 행렬 A를 통합된 부분공간에 투영하고, 축소된 행렬에서 SVD를 수행하여 낮은 질서 SVD를 계산한다.

실험 결과

연구 질문

• RQ1 다수의 무작위 스케치를 통합함으로써 단일 스케치 방법에 비해 낮은 질서 SVD 근사에서 확률적 변동을 크게 줄일 수 있는가?
• RQ2 스티펠 다양체 최적화를 통해 다수의 스케치된 부분공간을 통합하면 진짜 주요 부분공간과 고유벡터를 일관되게 추정할 수 있는가?
• RQ3 통합 SVD 알고리즘의 수렴 속도는 어떻게 되며, 대수법의 법칙과 중심극한정리와 같은 확률 법칙으로 특성화할 수 있는가?
• RQ4 스티펠 다양체 위에서의 콜모고로프-나구노 유형의 평균화는 계산된 고유벡터의 안정성과 정확도를 어떻게 향상시키는가?
• RQ5 이 통합 프레임워크는 고유값 문제나 텐서 분해와 같은 다른 문제로 일반화될 수 있는가?

주요 결과

• 2^19 × 2^20 행렬에서 N=200 스케치를 사용한 통합 SVD(iSVD)는 프로베니우스 노름 오차 1.95e-02(표준편차 6.30e-05)를 달성하여, ℓ=22인 rSVD(1.90e-01, 표준편차 1.39e-02)보다 유의미하게 낮다.
• 고유벡터에 대해 강한 대수법의 법칙이 성립하여 스케치 수가 증가함에 따라 진짜 부분공간으로 수렴함을 보여준다.
• 중앙극한정리는 고유벡터의 수렴 속도를 정량화하여 추정의 정밀도를 규명한다.
• 이론적 분석을 통해 고유벡터는 모집단 평균에 의해 유도될 수 있음을 확인하여 통합 결과가 진짜 기저 구조와 연결됨을 입증한다.
• 수치 결과는 다양한 행렬 크기와 샘플링 차원에서 iSVD가 단일 스케치 랜덤 SVD보다 확률적 변동을 줄이고 정확도를 향상시킴을 보여준다.
• 이 방법은 확장 가능하며 병렬 처리에 적합하며, N개의 스케치는 독립적으로 처리되고 통합 단계 역시 다중 코어 또는 GPU 아키텍처에서 병렬화 가능하다.