[논문 리뷰] Tensor Ring Decomposition

Qibin Zhao, Guoxu Zhou외 3명|arXiv (Cornell University)|2016. 06. 17.

Tensor decomposition and applications참고 문헌 53인용 수 303

한 줄 요약

TR은 원형이며 순열에 불변한 텐서 네트워크 모델인 텐서 링(TR) 분해를 도입하여 고차 텐서의 저랭크 근사를 위한 다수의 학습 알고리즘을 가능하게 한다. 이는 TR-SVD, TR-ALS, adaptive-rank TR-ALS, 및 블록 단위 ALS를 포함하며 합성 및 실제 데이터에 대한 실험이 포함된다.

ABSTRACT

Tensor networks have in recent years emerged as the powerful tools for solving the large-scale optimization problems. One of the most popular tensor network is tensor train (TT) decomposition that acts as the building blocks for the complicated tensor networks. However, the TT decomposition highly depends on permutations of tensor dimensions, due to its strictly sequential multilinear products over latent cores, which leads to difficulties in finding the optimal TT representation. In this paper, we introduce a fundamental tensor decomposition model to represent a large dimensional tensor by a circular multilinear products over a sequence of low dimensional cores, which can be graphically interpreted as a cyclic interconnection of 3rd-order tensors, and thus termed as tensor ring (TR) decomposition. The key advantage of TR model is the circular dimensional permutation invariance which is gained by employing the trace operation and treating the latent cores equivalently. TR model can be viewed as a linear combination of TT decompositions, thus obtaining the powerful and generalized representation abilities. For optimization of latent cores, we present four different algorithms based on the sequential SVDs, ALS scheme, and block-wise ALS techniques. Furthermore, the mathematical properties of TR model are investigated, which shows that the basic multilinear algebra can be performed efficiently by using TR representaions and the classical tensor decompositions can be conveniently transformed into the TR representation. Finally, the experiments on both synthetic signals and real-world datasets were conducted to evaluate the performance of different algorithms.

연구 동기 및 목표

• TT를 넘는 유연하고 스케일 가능한 텐서 분해가 필요하다는 동기를 제시하고 순열 민감성과 굳어진 랭크 구조를 다룬다.
• 텐서 링(TR) 모델과 그 수학적 특성(순환 불변성 및 트레이스 기반 출력 포함)을 정의한다.
• TR 표현을 학습하기 위한 여러 알고리즘(TR-SVD, TR-ALS, 적응 랭크를 갖춘 TR-ALS, BALS)을 개발하고 비교한다.
• TR이 고전적 분해와 어떻게 연결되는지 분석하고 기초적 속성을 증명한다.
• 합성 데이터와 실제 데이터 세트에서 실험적 성능을 보여준다.

제안 방법

• TR 분해를 T(i1,...,id) = Tr{Z1(i1) Z2(i2) ... Zd(id)}와 같이 core Zi가 크기 ri x ni x r(i+1)인 형태로 정의한다.
• 순환 차원 순서 변경 불변성을 트레이스를 통해 보이며 링과 같은 코어 간 연결을 가능하게 한다.
• 네 가지 학습 알고리즘을 제공한다: TR-SVD (Sequential SVDs) for non-iterative low-rank approximation; TR-ALS (alternating least squares) for fixed ranks; TR-ALS with adaptive ranks (ALSAR) for automatic rank growth; and Block-wise ALS (BALS) with rank adaptation via block merges and truncated SVD.
• 모드-k 언폴딩 및 부분 체인에 대한 관계를 도출하고 코어를 최적화하는 업데이트 규칙을 제시한다.
• TR이 특정 조건에서 TT로 축소되는 방식과 TR 표현으로 기본 다중선형 대수 연산을 수행할 수 있는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 순환적으로 연결된 링 구조에서 텐서를 표현해 TT의 한계를 어떻게 극복할 수 있는가?
• RQ2 정확성을 제어하면서 TR 분해를 효율적으로 계산하거나 근사하는 학습 알고리즘은 무엇인가?
• RQ3 TR-랭크가 근사 품질에 어떤 영향을 미치며 학습 중에 랭크를 자동으로 조정할 수 있는가?
• RQ4 TR은 기존 분해(CP, Tucker, TT)와 어떻게 연결되며 효율적 계산을 가능하게 하는 이론적 속성은 무엇인가?
• RQ5 TR 기반 방법이 합성 및 실제 데이터 세트에서 전통적 텐서 분해와 비교해 잘 작동하는가?

주요 결과

• TR 분해는 3차 코어의 순환 시퀀스로 텐서를 표현하며, 이들의 곱에 대한 트레이스를 사용한다.
• TR 모델은 순환 차원 순서 불변성을 제공하고 TT 분해의 선형 결합으로 볼 수 있다.
• 네 가지 학습 알고리즘이 개발되었으며: TR-SVD, TR-ALS, TR-ALS with adaptive ranks, 및 BALS를 통해 정확도와 계산 간의 다양한 트레이드오프를 가능하게 한다.
• TR 표현은 차원 d에 따라 O(d n r^2) 매개변수가 필요하며 텐서 차원 d에 따라 확장 가능하다.
• TR-SVD는 모드-1 언폴딩 및 순차적인 SVD를 통해 제어된 상대 오차로 비반복 근사를 제공한다.
• 합성 및 실세계 데이터 세트에 대한 실험은 제안된 알고리즘들을 검증한다(추상 발췌에 구체적 결과 미제공).