[논문 리뷰] Very Large-Scale Singular Value Decomposition Using Tensor Train Networks

Namgil Lee, Andrzej Cichocki|arXiv (Cornell University)|2014. 10. 25.

Tensor decomposition and applications참고 문헌 33인용 수 14

한 줄 요약

이 논문은 텐서 트레인(TT) 형식을 사용하여 매우 대규모 행렬의 주요 특이값과 특이벡터를 계산하기 위한 ALS-SVD 및 MALS-SVD 알고리즘을 제안한다. 행렬과 특이벡터를 저질서 TT 분해로 표현함으로써, 이 방법들은 대규모 SVD 문제를 매트릭스 크기에 대해 로그형 복잡도를 가지는 순차적 소규모 최적화 문제로 환원하여, 표준 데스크톱에서 $2^{50} \times 2^{50}$ 크기의 행렬에 대해 높은 정확도로 효율적인 SVD 계산을 가능하게 한다.

ABSTRACT

We propose new algorithms for singular value decomposition (SVD) of very large-scale matrices based on a low-rank tensor approximation technique called the tensor train (TT) format. The proposed algorithms can compute several dominant singular values and corresponding singular vectors for large-scale structured matrices given in a TT format. The computational complexity of the proposed methods scales logarithmically with the matrix size under the assumption that both the matrix and the singular vectors admit low-rank TT decompositions. The proposed methods, which are called the alternating least squares for SVD (ALS-SVD) and modified alternating least squares for SVD (MALS-SVD), compute the left and right singular vectors approximately through block TT decompositions. The very large-scale optimization problem is reduced to sequential small-scale optimization problems, and each core tensor of the block TT decompositions can be updated by applying any standard optimization methods. The optimal ranks of the block TT decompositions are determined adaptively during iteration process, so that we can achieve high approximation accuracy. Extensive numerical simulations are conducted for several types of TT-structured matrices such as Hilbert matrix, Toeplitz matrix, random matrix with prescribed singular values, and tridiagonal matrix. The simulation results demonstrate the effectiveness of the proposed methods compared with standard SVD algorithms and TT-based algorithms developed for symmetric eigenvalue decomposition.

연구 동기 및 목표

• 대규모 구조적 행렬의 대규모 특이값 분해(SVD)에서의 차원의 극복 문제를 해결한다.
• 기하급수적 복잡도로 인해 기존 SVD로는 비가능한 매우 대규모 행렬을 위한 효율적인 SVD 알고리즘을 개발한다.
• 텐서 트레인(TT) 형식을 통한 저질서 텐서 근사에 의해 주요 특이값과 특이벡터의 계산을 가능하게 한다.
• 기존 TT 기반 고유값 분해(EVD) 방법의 한계를 극복하기 위해 SVD 추적 최대화 문제를 직접 최적화한다.
• 반복 과정에서 TT-랭크를 적응적으로 결정하고 효율적인 랭크 잘라내기를 사용함으로써 높은 정확도와 확장성을 달성한다.

제안 방법

• 대규모 구조적 행렬과 그 특이벡터를 텐서 트레인(TT) 형식으로 표현하여 저파rametric이고 확장 가능한 계산을 가능하게 한다.
• SVD 문제를 정규직교 행렬 U와 V에 대한 추적 최대화 문제로 공식화하며, $\text{trace}(\mathbf{U}^T \mathbf{A} \mathbf{V})$ 형태로 표현하고, $\mathbf{U}^T\mathbf{U} = \mathbf{V}^T\mathbf{V} = \mathbf{I}_K$ 를 조건으로 한다.
• 작은 규모의 하위문제를 표준 솔버(예: EIGS)를 사용하여 풀 수 있도록, 교대 최소제곱(ALS)과 수정된 ALS(MALS)을 사용하여 반복적으로 U와 V 블록을 최적화한다.
• 반복 과정에서 적응형 랭크 잘라내기를 적용하여 낮은 TT-랭크를 유지하고 계산 비용을 통제하며, 수렴성과 정확도를 위해 조정 가능한 잘라내기 파라미터 $\delta$ 를 사용한다.
• 랭크 증가를 최소화하고 매트릭스 크기에 대해 로그형 복잡도를 유지하기 위해 TT 전용 알고리즘을 사용해 텐서 결합을 효율적으로 수행한다.
• TT-랭크가 고정된 경우, $\delta$-잘라낸 SVD를 QR 분해로 대체하여 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 큰 규모의 구조적 행렬에 대해 텐서 트레인(TT) 분해를 사용하여 SVD를 효율적으로 계산할 수 있는가?
• RQ2 제한된 TT-랭크 하에서 매트릭스 크기에 따라 TT 기반 SVD의 계산 복잡도는 어떻게 변화하는가?
• RQ3 SVD 추적 최대화 문제를 직접 최적화하는 것이 EVD 기반 TT 방법보다 정확도와 효율성 면에서 뛰어나게 되는가?
• RQ4 적응형 TT-랭크 선택과 잘라내기는 수렴성과 근사 정확도에 어떤 영향을 미치는가?
• RQ5 허리츠, 토플리츠, 삼중대각, 고정된 특이값을 가진 랜덤 행렬과 같은 행렬에서 제안된 알고리즘의 성능은 어떠한가?

주요 결과

• 제안된 ALS-SVD 및 MALS-SVD 알고리즘은 제한된 TT-랭크 하에서 매트릭스 크기에 대해 로그형 계산 복잡도를 달성하여, 표준 데스크톱에서 $2^{50} \times 2^{50}$ 크기의 행렬에 대해 몇 초 내에 SVD를 수행할 수 있다.
• MALS-SVD는 반복 과정에서 더 효율적인 TT-랭크 적응을 통해 ALS-SVD보다 빠른 수렴을 보인다.
• 무한대의 TT-랭크를 가진 랜덤 토플리츠 행렬의 경우에도, 고정된 TT-랭크와 통제된 잘라내기를 통해 정확한 근사를 생성할 수 있다.
• 잘라내기 파라미터 $\delta$ 의 선택은 수렴에 결정적인 영향을 미친다: 너무 크면 국소 최소값에 갇히고, 너무 작으면 랭크 급증과 계산 비용 증가를 초래한다.
• 특히 $\delta_0 = \epsilon / \sqrt{N-1}$ 일 경우, 일반적으로 3회 전반적인 스위프트 내에 원하는 정확도로 수렴하며, 재시작 기능은 국소 최소값을 벗어나는 데 도움이 된다.
• 특히 매트릭스의 TT-랭크가 높을 경우, EVD 기반 TT 알고리즘에 비해 정확도와 계산 효율성 면에서 제안된 방법이 뛰어나다.