[논문 리뷰] Faster Tensor Train Decomposition for Sparse Data

Lingjie Li, Wenjian Yu외 1명|arXiv (Cornell University)|2019. 08. 07.

Tensor decomposition and applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 대규모 희소 텐서를 위한 최적화된 신속한 텐서 트레이스(TT) 분해 알고리즘인 FastTT를 제안한다. 정확한 TT 구축과 효율적인 병렬 벡터 반올림, 개선된 TT 반올림을 결합함으로써 FastTT는 TT-SVD 및 무작위 TT-SVD보다 최대 240배 빠른 계산을 달성하면서도 정확성과 낮은 TT 랭크를 유지하여 이전에는 불가능했던 대규모 희소 텐서 분해를 가능하게 한다.

ABSTRACT

In recent years, the application of tensors has become more widespread in fields that involve data analytics and numerical computation. Due to the explosive growth of data, low-rank tensor decompositions have become a powerful tool to harness the notorious curse of dimensionality. The main forms of tensor decomposition include CP decomposition, Tucker decomposition, tensor train (TT) decomposition, etc. Each of the existing TT decomposition algorithms, including the TT-SVD and randomized TT-SVD, is successful in the field, but neither can both accurately and efficiently decompose large-scale sparse tensors. Based on previous research, this paper proposes a new quasi-best fast TT decomposition algorithm for large-scale sparse tensors with proven correctness and the upper bound of its complexity is derived. In numerical experiments, we verify that the proposed algorithm can decompose sparse tensors faster than the TT-SVD, and have more speed, precision and versatility than randomized TT-SVD, and it can be used to decomposes arbitrary high-dimensional tensor without losing efficiency when the number of non-zero elements is limited. The new algorithm implements a large-scale sparse matrix TT decomposition that was previously unachievable, enabling tensor decomposition based algorithms to be applied in larger-scale scenarios.

연구 동기 및 목표

• 대규모 희소 텐서를 처리할 때 기존 TT 분해 알고리즘(예: TT-SVD)의 비효율성과 높은 메모리 사용을 해결하기 위해.
• 무작위 TT-SVD의 정확도 손실 문제를 해결하기 위해, 이는 비정확한 SVD 근사에 기인함.
• 희소 데이터에 대해 빠른 런타임을 확보하면서도 낮은 TT 랭크와 높은 정확도를 유지하는 방법을 개발하기 위해.
• 텐서의 차원 수에 관계없이 고차원 희소 텐서의 TT 분해를 가능하게 하되, 비영소 요소의 수에 의해 제한됨.
• 수치선형대수학 및 머신러닝 분야에서의 광범위한 적용 가능성을 위해 행렬에서 TT(MPO) 형식으로의 변환 기능을 확장하기 위해.

제안 방법

• 비영소 섬유를 이용해 정확한 TT 표현을 구축하여 초기 분해 단계에서 정확성을 유지한다.
• 희소성과 병렬성을 활용해 병렬 벡터 반올림 기법을 구현하여 TT 반올림 과정의 속도를 향상시킨다.
• 정확성과 랭크 감소의 균형을 맞추기 위해 동적으로 조정 가능한 절단 파rameter를 갖춘 개선된 TT 반올림 알고리즘(알고리즘 8)을 도입한다.
• 입력 희소성과 목표 오차 범위에 따라 자동으로 조절 가능한 동적 파rameter 선택 전략을 사용하여 알고리즘의 절단 임계값을 최적화한다.
• 반올림 과정에서 무작위 SVD 유사 샘플링을 통제적으로 활용하여 정확도를 훼손하지 않은 채 속도를 향상시킨다.
• 행렬을 행렬 곱 연산자(MPO) 형식으로 변환할 수 있도록 지원하여 선형대수학 및 양자 시스템 분야로의 적용 가능성을 넓힌다.

실험 결과

연구 질문

• RQ1 대규모 희소 텐서에서 수십만 배 빠른 성능 향상을 달성하면서도 높은 정확도를 유지할 수 있는 TT 분해 알고리즘을 설계할 수 있는가?
• RQ2 TT-SVD의 희소 환경에서의 계산 블로킹 문제를 TT 랭크 증가 없이 정확도를 유지하면서 어떻게 해결할 수 있는가?
• RQ3 동적 파ram터 선택 전략이 다양한 희소 데이터에 대해 TT 분해의 성능과 강인성을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법이 비영소 요소 수가 제한된 고차원 텐서(예: 10^4 차원)에 대해 효율적으로 스케일업할 수 있는가?
• RQ5 최신 기법인 무작위 TT-SVD 및 TT-cross와 비교해 새로운 알고리즘이 정확도와 효율성 면에서 어떻게 성능을 내는가?

주요 결과

• 이미지/비디오 복원 작업에서 FastTT는 동일한 TT 랭크와 상대 오차 조건을 유지하면서 TT-SVD 대비 최대 9.6배 빠른 성능을 기록했다.
• 선형 시스템 해법에서 FastTT는 동일한 정확도와 TT 랭크를 유지하면서 TT-SVD 대비 240배 빠른 성능을 달성했다.
• 희소 데이터 처리에서 FastTT는 TT-SVD 대비 35배 빠른 성능을 보였으며, 실제 상대 오차는 항상 목표 ε 이하로 유지되었다.
• FastTT+에 적용된 개선된 TT 반올림(알고리즘 8)은 ε 값이 클 경우 표준 FastTT보다 낮은 TT 랭크를 생성하지만, 약간의 오차 증가를 감수함으로써 랭크 효율성이 향상됨을 입증했다.
• 알고리즘의 성능은 텐서의 차원 수가 아니라 비영소 요소의 수에 의해 제한되며, 이는 고차원 희소 텐서의 확장 가능한 분해를 가능하게 한다.
• 이론적 분석을 통해 알고리즘의 정확성과 계산 복잡도의 상한선을 입증하여 알고리즘의 효율성과 안정성을 확인했다.