[논문 리뷰] Computing low-rank approximations of large-scale matrices with the Tensor Network randomized SVD

Kim Batselier, Wenjian Yu외 2명|arXiv (Cornell University)|2017. 07. 25.

Tensor decomposition and applications참고 문헌 19인용 수 3

한 줄 요약

이 논문은 매트릭스 프로덕트 옵저버(MPO) 형식으로 저장된 대규모 행렬의 저질서 근사값을 빠르고 정확하게 계산하는 데 사용되는 텐서 네트워크 랜덤라이즈드 SVD(TNrSVD) 알고리즘을 소개한다. 이 알고리즘은 최신의 ALS-SVD 및 MALS-SVD 방법 대비 최대 17배 빠른 성능를 보이며 기계 정밀도 정확도를 유지한다. 또한 희소 행렬에 대해 기존의 TT-SVD 대비 최대 509배 빠른 새로운 행렬에서 MPO로의 변환 알고리즘을 제안한다.

ABSTRACT

We propose a new algorithm for the computation of a singular value decomposition (SVD) low-rank approximation of a matrix in the Matrix Product Operator (MPO) format, also called the Tensor Train Matrix format. Our tensor network randomized SVD (TNrSVD) algorithm is an MPO implementation of the randomized SVD algorithm that is able to compute dominant singular values and their corresponding singular vectors. In contrast to the state-of-the-art tensor-based alternating least squares SVD (ALS-SVD) and modified alternating least squares SVD (MALS-SVD) matrix approximation methods, TNrSVD can be up to 17 times faster while achieving the same accuracy. In addition, our TNrSVD algorithm also produces accurate approximations in particular cases where both ALS-SVD and MALS-SVD fail to converge. We also propose a new algorithm for the fast conversion of a sparse matrix into its corresponding MPO form, which is up to 509 times faster than the standard Tensor Train SVD (TT-SVD) method while achieving machine precision accuracy. The efficiency and accuracy of both algorithms are demonstrated in numerical experiments.

연구 동기 및 목표

• MPO 형식으로 저장된 대규모 행렬에 대한 저질서 근사 계산의 계산 병목 현상을 해결하기 위해.
• 특정 경우에서 기존의 텐서 기반 SVD 방법인 ALS-SVD 및 MALS-SVD의 수렴 실패 문제를 해결하기 위해.
• 희소 행렬에 대해 빠르고 정확하며 확장 가능한 행렬에서 MPO로의 변환 알고리즘을 개발하기 위해.
• 랜덤라이즈드 SVD 기법을 텐서 네트워크 프레임워크에 통합하여 성능 향상시키기 위해.

제안 방법

• 매트릭스 프로덕트 옵저버(MPO) 형식의 행렬에 특화된 랜덤라이즈드 SVD 알고리즘을 제안하며, 텐서 네트워크 구조를 활용한다.
• 랜덤라이즈드 SVD 프레임워크를 MPO 표현 방식에 직접 적용하여 전체 행렬을 구성하지 않도록 한다.
• 파wer 반복과 무작위 투영을 사용하여 MPO 형식에서 주요 특이값과 특이벡터를 효율적으로 추출한다.
• 질량-반영 QR과 텐서 트레인 라운딩을 활용한 새로운 행렬에서 MPO로의 변환 알고리즘을 도입하여 기계 정밀도를 확보한다.
• 변환 이전에 MPO-랭크를 줄이기 위해 Cuthill-McKee 순열을 적용하여 효율성을 향상시킨다.
• 근사 오차를 제어하면서 정확도를 유지하기 위해 적응형 허용 오차를 사용하는 라운딩 절차를 구현한다.

실험 결과

연구 질문

• RQ1 랜덤라이즈드 SVD 알고리즘이 MPO 표현 행렬에 대해 텐서 네트워크 프레임워크에 효과적으로 적응시킬 수 있는가?
• RQ2 대규모 행렬에 대해 제안된 TNrSVD의 성능은 ALS-SVD 및 MALS-SVD 대비 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 새로운 행렬에서 MPO로의 변환 알고리즘이 기존 방법인 TT-SVD보다 훨씬 빠르면서도 기계 정밀도 정확도를 확보할 수 있는가?
• RQ4 ALS-SVD 및 MALS-SVD가 수렴에 실패하는 경우, TNrSVD는 여전히 정확한 저질서 근사값을 산출할 수 있는가?
• RQ5 행렬 순열 전략의 영향은 결과적인 MPO-랭크와 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• TNrSVD 알고리즘은 $2^N \times 2^N$ 행렬에 대해 MALS-SVD 대비 최대 17배 빠른 성능를 보이며 동일한 정확도를 유지한다.
• 지정된 특이값을 가진 랜덤 행렬의 랭크-50 근사에서, TNrSVD는 MALS-SVD 대비 17배 빠르고 ALS-SVD 대비 5배 빠르게 작동한다.
• 제안된 행렬에서 MPO로의 변환 알고리즘은 표준 TT-SVD 방법 대비 최대 509배 빠르며 기계 정밀도 정확도를 확보한다.
• ALS-SVD 및 MALS-SVD가 수렴에 실패하는 경우, 특히 고차원 행렬에서 TNrSVD는 정확한 저질서 근사값을 성공적으로 계산한다.
• 표준 행렬 구현 방식의 랜덤라이즈드 SVD는 $N=15$를 초과하면 메모리 제약으로 인해 실패하지만, 모든 텐서 기반 방법(포함해 TNrSVD)은 $N=50$까지 확장 가능성을 유지한다.
• TNrSVD에서 적응형 라운딩 허용 오차의 사용으로 인해 랭크-50 근사에서 추정된 특이값의 상대 오차가 $10^{-6}$ 이하로 유지된다.