[논문 리뷰] Tensor Networks for Latent Variable Analysis. Part I: Algorithms for Tensor Train Decomposition

Anh Huy Phan, Andrzej Cichocki외 4명|arXiv (Cornell University)|2016. 09. 29.

Tensor decomposition and applications참고 문헌 20인용 수 11

한 줄 요약

이 논문은 한 개 또는 여러 개의 코어 텐서를 동시에 업데이트하는 새로운 교대 최적화 알고리즘을 제안하여 대규모 데이터에 대한 텐서 트레이스(TT) 분해의 수치적 안정성과 확장성을 향상시킨다. 제안된 방법은 기존의 절단된 SVD 기반 TT 알고리즘에 비해 빈도 분리, 노이즈 제거, 특징 추출 등에서 뛰어난 성능을 달성한다.

ABSTRACT

Decompositions of tensors into factor matrices, which interact through a core tensor, have found numerous applications in signal processing and machine learning. A more general tensor model which represents data as an ordered network of sub-tensors of order-2 or order-3 has, so far, not been widely considered in these fields, although this so-called tensor network decomposition has been long studied in quantum physics and scientific computing. In this study, we present novel algorithms and applications of tensor network decompositions, with a particular focus on the tensor train decomposition and its variants. The novel algorithms developed for the tensor train decomposition update, in an alternating way, one or several core tensors at each iteration, and exhibit enhanced mathematical tractability and scalability to exceedingly large-scale data tensors. The proposed algorithms are tested in classic paradigms of blind source separation from a single mixture, denoising, and feature extraction, and achieve superior performance over the widely used truncated algorithms for tensor train decomposition.

연구 동기 및 목표

• 최적화되지 않은 근사 오차와 랭크 최소화의 부재로 인해 성능이 떨어지는 기존의 절단된 SVD 기반 TT 분해 알고리즘의 한계를 해결한다.
• 대규모 텐서를 효율적으로 처리할 수 있는 수치적으로 안정적이고 확장 가능한 TT 분해 알고리즘을 개발한다.
• 표준 신호 처리 및 기계 학습 파라다임인 빈도 분리, 노이즈 제거, 특징 추출 등에서 텐서 네트워크의 효과적인 적용을 가능하게 한다.
• 여러 코어 텐서를 동시에 최적화하는 교대 업데이트 방식을 제안하여 수렴성과 근사 품질을 향상시킨다.
• 텐서 편개와 TUCKER-2 분해를 통해 저랭크 구조를 보장하고 계산 비용을 감소시키는 프레임워크를 제공한다.

제안 방법

• 순차적인 두 코어 텐서를 업데이트하는 Alternating Double-Core Updates (ADCU) 알고리즘을 제안하며, 이를 위해 TT 분해를 재구성한 순서 4 텐서의 저랭크 행렬 분해로 재정의한다.
• 새로운 코어 텐서를 계산하기 위해 편개된 텐서 $[oldsymbol{ au}_{n,n+1}]_{(1,2)}$ 에서 절단된 특이값 분해(SVD)를 적용하여 랭크 최소화와 수치적 안정성을 확보한다.
• 세 개의 연속된 코어를 업데이트하기 위해 계약된 텐서를 순서 3 텐서로 재구성하고 TUCKER-2 분해를 적용하는 Alternating Triple-Cores Updates (ATCU) 알고리즘을 도입한다.
• 중간 코어 텐서에 고유값 스케일링을 사용한 왼쪽 직교화를 적용하여 수치적 안정성을 유지하고 분해의 유일성을 강제한다.
• 고차원 텐서의 계약을 행렬 연산으로 변환하기 위해 모드-(1,2) 및 모드-(4,5) 편개를 사용하여 계산 복잡도를 감소시킨다.
• SVD 단계에서 적응형 절단을 통한 오차 허용 범위 제어를 통합하여 사전 정의된 오차 한계 내에서 근사가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 신호 처리 및 기계 학습에서 대규모 데이터 텐서에 대해 TT 분해를 더 안정적이고 확장 가능하게 만들 수 있는 방법은 무엇인가?
• RQ2 여러 코어를 동시에 업데이트하는 것이 TT 분해의 근사 정확도와 수렴 속도에 미치는 영향는 어떠한가?
• RQ3 저랭크 행렬 분해와 TUCKER-2 분해를 활용한 교대 최적화 방식이 기존의 절단된 SVD 기반 TT 알고리즘을 능가할 수 있는가?
• RQ4 특히 랭크가 사전에 알려져 있지 않을 경우, 주어진 근사 오차를 유지하면서 TT 랭크를 최소화할 수 있는가?
• RQ5 제안된 알고리즘이 단일 혼합 신호에서의 빈도 분리 및 이미지 노이즈 제거와 같은 실세계 응용에서 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 ADCU 및 ATCU 알고리즘은 특히 노이즈가 많거나 조건이 나쁜 환경에서 표준 절단된 SVD 기반 TT 분해보다 훨씬 뛰어난 근사 정확도를 달성한다.
• ATCU 알고리즘은 $R_{n-1}I_n$ 또는 $R_{n+2}I_{n+2}$ 가 해당 랭크보다 훨씬 클 경우 중간 텐서 $oldsymbol{ au}_{n:n+2}$ 를 크기 $R_n imes I_{n+1} imes R_{n+1}$ 로 압축함으로써 계산 비용을 감소시킨다.
• ATCU의 왼쪽 직교화 단계는 중간 코어 텐서 $oldsymbol{ au}_{n+1}$ 이 $oldsymbol{ au}_{n+1} lacktriangleleft_2 oldsymbol{ au}_{n+1} = ext{diag}(oldsymbol{ u}_n)$ 을 만족하도록 하여 최적화 과정을 안정화시킨다.
• 알고리즘은 빈도 분리, 이미지 노이즈 제거, 특징 추출과 같은 고전적인 신호 처리 작업에서 효과적이며, 기존 방법보다 뛰어난 성능을 보인다.
• ATCU에서 TUCKER-2 분해를 활용하면 세 코어 계약의 효율적인 저랭크 근사가 가능해져 정확도와 계산 효율성이 모두 향상된다.
• 제안된 방법은 텐서 편개와 SVD를 통해 큰 텐서 문제를 더 작은 부분 문제로 환원하므로 매우 대규모 데이터 텐서에 대해서도 확장 가능하고 해석 가능하다.