[논문 리뷰] Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions

Linjian Ma, Edgar Solomonik|arXiv (Cornell University)|2021. 04. 02.

Tensor decomposition and applications참고 문헌 51인용 수 10

한 줄 요약

이 논문은 TensorSketch 또는 리커지 스코어 샘플링를 통해 랭크 제약이 있는 선형 최소제곱 문제를 해결하는 스케치된 교대 최소제곱(ALS)을 사용하여 저질서 터널러스 분해를 위한 빠르고 정확한 랜덤 알고리즘을 제안한다. 이 방법은 최신 기술 대비 최대 22.0%의 상대 잔차 개선을 달성하며, 코어 텐서의 터널러스 압축을 통해 CP 분해를 가속화하여 더 빠른 수렴과 높은 정확도를 제공한다.

ABSTRACT

Low-rank Tucker and CP tensor decompositions are powerful tools in data analytics. The widely used alternating least squares (ALS) method, which solves a sequence of over-determined least squares subproblems, is costly for large and sparse tensors. We propose a fast and accurate sketched ALS algorithm for Tucker decomposition, which solves a sequence of sketched rank-constrained linear least squares subproblems. Theoretical sketch size upper bounds are provided to achieve $O(ε)$ relative error for each subproblem with two sketching techniques, TensorSketch and leverage score sampling. Experimental results show that this new ALS algorithm, combined with a new initialization scheme based on randomized range finder, yields up to $22.0\%$ relative decomposition residual improvement compared to the state-of-the-art sketched randomized algorithm for Tucker decomposition of various synthetic and real datasets. This Tucker-ALS algorithm is further used to accelerate CP decomposition, by using randomized Tucker compression followed by CP decomposition of the Tucker core tensor. Experimental results show that this algorithm not only converges faster, but also yields more accurate CP decompositions.

연구 동기 및 목표

• 대규모 희소 텐서에서 터널러스 및 CP 분해에 대한 기존 ALS의 높은 계산 비용 문제를 해결하기 위해.
• 각 스weep 비용이 O(nnz(T)R) 이하로 유지되면서 정확도를 유지하는 터널러스 분해를 위한 스케칭된 ALS 알고리즘을 개발하기 위해.
• 랭크 제약이 있는 최소제곱 하위 문제에서 상대 오차에 대해 더 낫지 않은 이론적 스케칭 크기 경계를 제공하기 위해.
• 새로운 랜덤화된 범위 찾기 초기화를 통해 고일관성, 희소 텐서에 대한 랜덤화된 터널러스 분해의 정확도를 향상시키기 위해.
• 코어 텐서의 랜덤화된 터널러스 압축을 먼저 적용하여 CP 분해를 가속화하기 위해.

제안 방법

• HOOI와 동일한 수정된 ALS 체계를 사용하며, 각 하위 문제에서 한 요소 행렬과 코어 텐서를 갱신하지만, 이를 스케칭을 통해 해결한다.
• 크기가 s^{N-1} × R^{N-1} 이고 정규직교 행렬을 갖는 왼쪽 행렬을 가진 랭크 제약이 있는 선형 최소제곱 하위 문제에 스케칭을 적용한다.
• 두 가지 스케칭 기법을 사용한다: TensorSketch와 리커지 스코어 샘플링이며, 둘 다 O(ε) 상대 오차를 달성함을 증명했다.
• 이론적 스케칭 크기 상한을 유도한다: 리커지 스코어 샘플링의 경우 O(R^{N-1}/(ε²δ))이며, TensorSketch의 경우 O((R^{N-1}·3^{N-1})/δ·(R^{N-1}+1/ε²))이다.
• 리커지 스코어 샘플링의 정확도를 향상시키기 위해 랜덤화된 범위 찾기 기반 초기화를 도입한다.
• 입력 텐서를 랜덤화된 터널러스 분해로 먼저 압축한 후, 더 작은 코어 텐서에 대해 CP-ALS를 적용하여 CP 분해를 가속화한다.

실험 결과

연구 질문

• RQ1 랭크 제약이 있는 최소제곱 하위 문제에 대해 스케칭을 효과적으로 적용할 수 있는가? 이때 정확도는 유지되는가?
• RQ2 TensorSketch와 리커지 스코어 샘플링를 사용할 때, 터널러스 ALS 하위 문제에서 O(ε) 상대 오차를 달성하기 위해 필요한 이론적 스케칭 크기는 얼마인가?
• RQ3 제안된 스케칭된 터널러스-ALS 알고리즘이 기존의 랜덤화 및 고전적 터널러스 분해 방법에 비해 정확도와 속도 측면에서 어떻게 비교되는가?
• RQ4 터널러스 압축 후 CP 분해를 수행하는 것이 직접 CP-ALS에 비해 더 빠르고 정확한 CP 결과를 도출할 수 있는가?
• RQ5 랜덤화된 범위 찾기 초기화는 희소이고 고일관성 텐서의 터널러스 분해에서 리커지 스코어 샘플링의 성능을 향상시키는가?

주요 결과

• 제안된 터널러스 분해를 위한 스케칭된 ALS 알고리즘은 합성 및 실세계 데이터셋에서 최신 기술 대비 최대 22.0%의 상대 잔차 개선을 달성한다.
• 이론적 스케칭 크기 경계는 이전 연구보다 더 낫지 않으며, 리커지 스코어 샘플링는 O(R^{N-1}/(ε²δ))의 스케칭 크기로 O(ε) 상대 오차를 달성하기 위해 필요하다.
• TensorSketch는 더 큰 스케칭 크기 O((R^{N-1}·3^{N-1})/δ·(R^{N-1}+1/ε²))를 요구하지만 여전히 O(ε) 상대 오차를 달성한다.
• 터널러스 + CP 분해 파이프라인은 직접 CP-ALS에 비해 터널러스 스weep 수가 5회 이내로 수렴한다.
• 희소 텐서(p = 0.1 및 p = 0.02)의 경우, 터널러스 + CP 방법이 잔차 정확도 측면에서 더 큰 성능 이점을 보였다.
• 더 낫지 않은 이론적 경계에도 불구하고, 다양한 텐서 유형에서 동일한 스케칭 크기로 리커지 스코어 샘플링와 TensorSketch의 실험적 성능은 유사하다.