[논문 리뷰] Efficient Alternating Least Squares Algorithms for Truncated HOSVD of Higher-Order Tensors.

Chuanfu Xiao, Chao Yang외 1명|arXiv (Cornell University)|2020. 04. 06.

Tensor decomposition and applications인용 수 2

한 줄 요약

이 논문은 대규모 텐서의 절단된 고계 특이값 분해(HOSVD)를 위한 새로운 대체 최소 제곱(ALS) 기반 알고리즘을 제안하며, 특이벡터의 효율적 계산을 통해 중간 단계의 데이터 폭발 문제를 해결한다. 이 방법은 q-선형 수렴을 달성하며, 본질적으로 병렬 처리가 가능하고, 합성 및 실제 응용 분야의 대규모 텐서 계산에서 계산 비용을 크게 감소시킨다.

ABSTRACT

The truncated Tucker decomposition, also known as the truncated higher-order singular value decomposition (HOSVD), has been extensively utilized as an efficient tool in many applications. Popular direct methods for truncated HOSVD often suffer from the notorious intermediate data explosion issue, especially for large-scale tensors, and are usually not easy to parallelize. In this paper, we propose a class of new truncated HOSVD algorithms based on alternating least squares (ALS). The proposed ALS-based approaches are able to eliminate the redundant computations of the singular vectors of intermediate matrices and are therefore free of data explosion. Also, the new methods are more flexible with adjustable convergence tolerance and are intrinsically parallelizable on high-performance computers. Theoretical analysis reveals that the ALS iteration in the proposed algorithms is q-linear convergent with a relatively wide convergence region. Numerical experiments with large-scale tensors from both synthetic and real-world applications demonstrate that ALS-based methods can substantially reduce the total cost of the original ones and are highly scalable for parallel computing.

연구 동기 및 목표

• 대규모 텐서의 절단된 HOSVD를 위한 기존 직접 방법에서 발생하는 중간 단계의 데이터 폭발 문제를 해결한다.
• 텐서 분해를 위한 병렬 처리가 불가능하고 계산 비용이 높은 직접 알고리즘의 한계를 극복한다.
• 수렴 정확도를 조절할 수 있는 조정 가능한 수렴 허용 오차를 갖춘 기존 HOSVD 계산 방법의 영리하고 확장 가능하며 효율적인 대안을 개발한다.
• 제안된 방법의 본질적 병렬 처리 가능성 덕분에 고성능 계산 환경 지원을 가능하게 한다.

제안 방법

• 절단된 HOSVD를 대체 최소 제곱(ALS) 반복을 통해 해결하는 최적화 문제로 공식화한다.
• 전체 중간 행렬 저장을 피하기 위해 SVD를 사용해 저랭크 부분 문제를 반복적으로 계산함으로써 코어 텐서와 인자 행렬을 계산한다.
• 각 단계에서 랭크 절단을 적용하여 데이터 폭발을 방지하고 계산 효율성을 유지한다.
• 이론적 분석을 통해 넓은 수렴 영역을 가진 q-선형 수렴 행동을 통해 수렴을 보장한다.
• 각 모드에 걸쳐 인자 행렬 계산을 분리함으로써 자연스럽게 병렬 처리가 가능한 알고리즘을 설계한다.
• 실제 응용에서 정확도와 계산 비용의 균형을 맞추기 위해 수렴 정확도를 조절할 수 있도록 도입한다.

실험 결과

연구 질문

• RQ1 ALS 기반 방법은 대규모 텐서의 직접 HOSVD 계산에서 흔히 발생하는 중간 데이터 폭발을 제거할 수 있는가?
• RQ2 제안된 ALS 기반 HOSVD 알고리즘의 수렴 행동은 전통적 방법과 비교해 수렴 속도와 안정성 측면에서 어떻게 다른가?
• RQ3 제안된 알고리즘은 고성능 계산 환경에서 얼마나 병렬 처리가 가능한가?
• RQ4 ALS 기반 접근법은 기존의 직접 방법과 비교해 계산 비용을 얼마나 감소시키는가?
• RQ5 알고리즘은 합성 및 실제 대규모 텐서 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 ALS 기반 HOSVD 알고리즘은 특이벡터의 효율적 계산과 절단 덕분에 중간 단계의 데이터 폭발이 발생하지 않는다.
• ALS 반복은 비교적 넓은 수렴 영역을 가진 q-선형 수렴을 보이며, 강력하고 안정적인 수렴을 보장한다.
• 대규모 텐서에서 기존의 직접적 접근 방식과 비교해 총 계산 비용이 크게 감소한다.
• 텐서 모드 간의 본질적 병렬 처리 가능성 덕분에 알고리즘은 병렬 계산에 매우 확장 가능하다.
• 수치 실험을 통해 합성 및 실제 대규모 텐서 데이터셋에서 이 방법의 효과성이 확인되었으며, 뛰어난 성능과 효율성을 입증한다.