[논문 리뷰] Low-rank Tensor Train Decomposition Using TensorSketch

Zhongming Chen, Huilin Jiang외 2명|arXiv (Cornell University)|2023. 09. 15.

Tensor decomposition and applicationsMathematics인용 수 3

한 줄 요약

이 논문은 대규모 텐서에서 계산을 가속화하기 위해 TensorSketch를 사용하는 랜덤화된 프록시멀 대칭 최소 제곱(ALS) 알고리즘을 제안한다. 프록시멀 정규화 항을 통합하고, TensorSketch의 빠른 푸리에 변환 기반 효율성 덕분에, 기존의 ALS 및 기존의 랜덤화된 접근 방식과 비교해 더 높은 정확도와 속도를 달성한다. 특히 스케치 크기와 TT-랭크가 증가할수록 성능 향상이 두드러진다.

ABSTRACT

Tensor train decomposition is one of the most powerful approaches for processing high-dimensional data. For low-rank tensor train decomposition of large tensors, the alternating least squares (ALS) algorithm is widely used by updating each core tensor alternatively. However, it may suffer from the curse of dimensionality due to the large scale of subproblems. In this paper, a novel randomized proximal ALS algorithm is proposed for low-rank tensor train decomposition by using TensorSketch, which allows for efficient implementation via fast Fourier transform. The theoretical lower bounds of sketch size are estimated for approximating the optimal value of subproblems. Numerical experiments on synthetic and real-world data also demonstrate the effectiveness and efficiency of the proposed algorithm.

연구 동기 및 목표

• 대규모 고차원 텐서에 대한 저랭크 텐서 트레인(TT) 분해에서 대칭 최소 제곱(ALS)의 계산 병목 현상을 해결한다.
• 기존의 TT-ALS와 TT-SVD에서 발생하는 차원의 저주와 메모리 제약을 극복하기 위해 랜덤화와 정규화를 도입한다.
• 해결책의 비유일성과 웅덩이 효과를 완화하기 위해 프록시멀 정규화 항을 추가함으로써 ALS의 안정성과 수렴성을 향상시킨다.
• TensorSketch를 활용해 정확도를 유지하면서도 하위 문제 크기를 극적으로 줄이는 빠른 희소 랜덤 투영을 실현한다.
• 고확률로 근사 품질을 보장하기 위해 스케치 크기의 이론적 하한을 설정한다.

제안 방법

• 현재 반복값에서의 이탈을 방지하는 프록시멀 항을 추가하여 정규화된 ALS 하위 문제를 도입함으로써 해의 유일성과 수렴성을 향상시킨다.
• 큰 스케일 하위 문제를 압축하기 위해 TensorSketch를 사용하여 희소 랜덤 투영을 통한 빠른 존슨-린든스트라우스 임bedding을 적용한다.
• 빠른 푸리에 변환(FFT)을 활용해 TensorSketch 연산을 가속화하여, 크로네커乘법의 구조를 스케칭할 때 O(n log n) 복잡도를 달성한다.
• 압축된 데이터에서 단층 SVD를 사용해 하위 문제를 효율적으로 해결함으로써 계산 비용을 줄이고 정확도를 유지한다.
• 이론적 분석을 통해 최적의 하위 문제 해를 고확률로 근사할 수 있도록 하는 스케치 크기의 하한을 유도한다.
• 랜덤화된 스케칭을 교대 최소화 프레임워크에 통합하여, 스케칭된 최소 제곱을 통해 TT 코어를 반복적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 대규모 텐서에 대해 스케칭된 하위 문제의 계산을 가속화하면서도 정확도를 유지하기 위해 TensorSketch를 효과적으로 활용할 수 있는가?
• RQ2 프록시멀 정규화 항을 추가함으로써 기존 ALS와 비교해 랜덤화된 TT 분해의 안정성과 수렴성이 어떻게 향상되는가?
• RQ3 스케칭된 하위 문제에서 최적의 TT 코어를 고확률로 근사하기 위해 필요한 이론적 최소 스케치 크기는 얼마인가?
• RQ4 실제 데이터에서 제안된 TT-TS 알고리즘의 정확도 및 계산 효율성은 TT-ALS 및 TT-Random과 비교해 어떻게 다른가?
• RQ5 스케치 크기와 TT-랭크를 증가시킬수록 제안된 방법의 근사 품질은 얼마나 향상되는가?

주요 결과

• 색상 이미지에서 TT-ranks (1,50,3,1)와 스케치 크기 200 조건에서 TT-TS는 TT-Random(29.7)보다 높은 PSNR(30.63)를 달성하여 뛰어난 정확도를 입증했다.
• 고스펙트럼 영상 데이터에서는 프록시멀 정규화가 적용된 경우, TT-TS가 TT-Random보다 상대 오차와 스펙트럼 곡선 근사에서 일관되게 뛰어난 성능을 보였다.
• 30 프레임의 영상 데이터에서 TT-ALS는 메모리가 부족해 실패했지만, TT-TS와 TT-Random는 프레임당 0.1초 이내에 작업을 완료하여 확장성을 입증했다.
• 영상 데이터의 두 번째 프레임에서 TT-TS의 PSNR는 35.23에 도달했으며, 동일 조건에서 TT-Random(25.1)보다 뚜렷이 높았다.
• 스케치 크기가 증가함에 따라 TT-TS와 TT-ALS 간의 격차가 줄어들어, 충분한 스케칭이 이루어지면 최적 해에 수렴함을 시사한다.
• 이론적 스케치 크기 하한은 너무 보수적인 편이었으며, 향후 연구에서 더 날카로운 분석이 가능할 여지가 있음을 시사한다.