[논문 리뷰] Tutorial: Complexity analysis of Singular Value Decomposition and its variants

Xiaocan Li, Shuo Wang외 1명|arXiv (Cornell University)|2019. 06. 28.

Blind Source Separation Techniques참고 문헌 22인용 수 46

한 줄 요약

논문은 일반 SVD, 잘린 SVD, Krylov 방법, Randomized PCA를 시간 및 공간 복잡도 측면에서 비교하고, 모든 고유쌍이 필요할 때 잘린 SVD가 가장 빠르다는 것을 보여준다. 또한 PCA와 SVD를 연결하고 무작위/ Krylov 방법이 이점이 되는 시점을 분석한다.

ABSTRACT

We compared the regular Singular Value Decomposition (SVD), truncated SVD, Krylov method and Randomized PCA, in terms of time and space complexity. It is well-known that Krylov method and Randomized PCA only performs well when k << n, i.e. the number of eigenpair needed is far less than that of matrix size. We compared them for calculating all the eigenpairs. We also discussed the relationship between Principal Component Analysis and SVD.

연구 동기 및 목표

• 대형 행렬에 대한 확장 가능한 SVD 변형 연구의 필요성을 제시한다.
• PCA와 SVD의 관계를 설명하고 차원 축소에 왜 중요한지 논의한다.
• Krylov, Randomized PCA, 잘린 SVD의 상세한 시간 및 공간 복잡도 분석을 제공한다.
• 합성 데이터와 MNIST에서 방법들을 실험적으로 비교하여 이론적 통찰을 검증한다.

제안 방법

• SVD의 기초를 도출하고 공분산 특성을 통해 PCA와의 연결을 제시한다.
• A^T A를 사용하고 U를 재구성함으로써 큰 AA^T를 피하는 방식으로 잘린 SVD를 설명한다.
• Krylov, Randomized PCA, 잘린 SVD에 대한 FLOP 기반의 시간 복잡도 유도 자세히 제시한다.
• 각 방법의 공간 복잡도에 대한 상세한 유도와 실용적인 메모리 추정치를 포함한다.
• 비교 표로 결과를 요약하고 합성 데이터와 MNIST에서의 실험으로 이를 확인한다.

실험 결과

연구 질문

• RQ1 모든 고유쌍이 필요할 때 어떤 SVD 변형이 시간 효율 면에서 가장 우수한가?
• RQ2 m >> n일 때 Krylov, Randomized PCA, 잘린 SVD의 시간 및 공간 복잡도는 어떻게 스케일링되는가?
• RQ3 큰 규모 데이터( MNIST 등 )에서 이러한 방법들의 실용적인 메모리 트레이드오프는 어떠한가?
• RQ4 합성 데이터 및 실제 데이터 세트에서 런타임 및 메모리 사용 측면에서 방법들을 실험적으로 비교하면 어떻게 되는가?

주요 결과

• 고유쌍이 모두 필요할 때 잘린 SVD가 가장 빠르다(k = n).
• Krylov 방법은 일반적으로 세 가지 분석된 접근 방식 중 가장 많은 메모리를 소비한다.
• Randomized PCA는 중간 정도의 메모리 사용량을 가지며 k << n 이 필요할 때 우수한 성능을 보인다.
• 큰 m >> n의 경우, 전체 고유쌍 계산에서 잘린 SVD가 Krylov 및 Randomized PCA보다 점근적 시간 비용에서 우세하다.
• MNIST 실험은 전체 PCA에서 실행 시간 및 메모리 면에서 잘린 SVD가 Krylov 및 Randomized PCA를 능가한다.
• 이 연구는 직교 분해를 사용할 때 투영 기반(U와 V) 측면에서 PCA와 SVD 간 등가성을 강조한다.